Dissenyen eines per detectar automàticament els desastres naturals a les imatges de les xarxes socials

Un equip internacional d'investigadores i investigadors ha dissenyat un sistema computacional d'aprenentatge profund capaç de detectar desastres naturals a partir de les imatges que es pengen a les xarxes socials. La recerca ha aplicat eines de visió per computació que, un cop entrenades amb 1,7 milions de fotografies, s'han demostrat eficaces per analitzar, filtrar i detectar catàstrofes reals. El treball, liderat des del Massachusetts Institute of Technology (MIT), ha comptat amb la participació d'Àgata Lapedriza, líder del grup de recerca especialitzada en intel·ligència artificial per al benestar humà (AIWELL), adscrit a l'eHealth Center, i professora dels Estudis d'Informàtica, Multimèdia i Telecomunicació de la Universitat Oberta de Catalunya (UOC).

A mesura que l'escalfament global progressa, desastres naturals com ara inundacions, tornados o incendis forestals són cada cop més freqüents i devastadors. Com que encara no hi ha eines per predir on i quan hi haurà aquesta mena d'incidents, articular una resposta ràpida i eficaç dels serveis d'emergència i cooperació internacional resulta fonamental per salvar vides. "Afortunadament, la tecnologia pot jugar un paper molt important en aquestes situacions. Les publicacions a les xarxes socials es poden utilitzar com una font de dades de baixa latència per entendre la progressió i les conseqüències d'un desastre", explica Lapedriza.

Fins ara, els treballs previs en aquest sentit s'havien centrat en l'anàlisi textual, però aquesta investigació, publicada a la revista Transactions on Pattern Analysis and Machine Intelligence, ha anat més enllà. Coincidint amb una estada al laboratori d'informàtica i intel·ligència artificial del MIT, Lapedriza va contribuir a definir la taxonomia d'incidents, crear la base de dades per entrenar els models de deep learning i també executar els experiments que van validar aquesta tecnologia.

Els investigadors van establir un llistat amb 43 categories d'incidents, incloent-ne d'origen natural (allaus, tempestes de sorra, terratrèmols, erupcions volcàniques, sequeres…) i diferents tipus d'accidents amb algun grau d'intervenció humana (d'avió, de construcció, etc.). Aquest llistat, juntament amb una tipologia de 49 llocs, va permetre etiquetar les fotografies amb les quals es va preparar el sistema.

Els autors i autores van crear el conjunt de dades anomenat Incidents1M, que conté 1.787.154 imatges, per entrenar posteriorment el model de detecció. Del total d'imatges, 977.088 tenen almenys una etiqueta positiva que les relaciona amb algun dels incidents categoritzats, mentre que n'hi ha 810.066 que contenen etiquetes d'incidents de classe negativa. Per als llocs, 764.124 imatges són de classe positiva i 1.023.030 són de classe negativa.

Eliminar falsos positius

Aquestes etiquetes negatives van permetre entrenar el sistema perquè elimini els falsos positius i entengui, per exemple, que una fotografia d'una llar de foc no correspon a un incendi, tot i que en comparteixi característiques visuals similars. Amb aquesta base feta, l'equip va entrenar un model per detectar incidents "seguint el paradigma d'aprenentatge multitasca i utilitzant una xarxa neuronal convolucional".

Un cop va aconseguir entrenar el model de deep learning en la detecció d'incidents en imatges, l'equip el va posar a prova en diversos experiments, utilitzant aquest cop un volum d'imatges ingent descarregat de xarxes socials com ara Flickr i Twitter. "Dins d'aquests conjunts d'imatges, el nostre model podia detectar les que es corresponien a incidents i vam comprovar que hi havia correspondència amb incidents concrets dels quals existia registre, com ara els terratrèmols del 2015 al Nepal i a Xile", explica Lapedriza.

Els autors i autores han demostrat amb dades reals el potencial d'utilitzar una eina basada en deep learning per obtenir informació de les xarxes socials sobre desastres naturals i esdeveniments que requereixin ajuda humanitària. "Això obre les portes al fet que les organitzacions d'ajuda humanitària es puguin assabentar de què està passant de manera més eficient i puguin millorar la gestió de l'ajuda humanitària quan sigui necessària", hi afegeix l'experta en computació de la UOC.

Un cop assolida aquesta fita, però, s'obren nous reptes científics, com per exemple aprofitar les mateixes imatges d'inundacions, incendis o altres successos per quantificar la gravetat dels incidents de manera automàtica, o inclús fer-ne un seguiment més efectiu de com evolucionen en el temps. Els autors i autores de la recerca també plantegen a la comunitat investigadora la possibilitat de combinar l'anàlisi de les imatges amb la del text que les acompanya per fer-ne una classificació més acurada.

Aquest projecte afavoreix els objectius de desenvolupament sostenible (ODS) número 3, sobre salut i benestar, i número 10, sobre reducció de les desigualtats.

Article de referència

Weber, E. [Ethan], Papadopoulos, D. [Dim], Lapedriza, À. [Àgata], Ofli, F. [Ferda], Imran, M. [Muhammad] i Torralba, A. [Antonio]. (2023). Incidents1M: a large-scale dataset of images with natural disasters, damage, and incidents. Transactions on Pattern Analysis and Machine Intelligence, 45(4), 4768-4781: https://doi.org/10.1109/TPAMI.2022.3191996

Contacte per a premsa

Rubén Permuy
rpermuy@uoc.edu
+34 659 05 42 39

UOC R&I

La recerca i innovació (R+I) de la UOC contribueix a solucionar els reptes a què s'enfronten les societats globals del segle XXI mitjançant l'estudi de la interacció de la tecnologia i les ciències humanes i socials, amb un focus específic en la societat xarxa, l'aprenentatge en línia i la salut digital.

Els més de 500 investigadors i investigadores i més de 50 grups de recerca s'articulen entorn dels set estudis de la UOC, un programa de recerca en aprenentatge en línia (e-learning research) i dos centres de recerca: l'Internet Interdisciplinary Institute (IN3) i l'eHealth Center (eHC).

A més, la Universitat impulsa la innovació en l'aprenentatge digital mitjançant l'eLearning Innovation Center (eLinC), i la transferència de coneixement i l'emprenedoria de la comunitat UOC amb la plataforma Hubbik.

Els objectius de l'Agenda 2030 per al Desenvolupament Sostenible de les Nacions Unides i el coneixement obert són eixos estratègics de la docència, la recerca i la innovació de la UOC. Més informació: research.uoc.edu.