Sistema inteligente multimodal basado en crowdsensing para un servicio de predicción de problemas sociales.

Las redes sociales se han convertido en un fenómeno global de la comunicación, donde los usuarios publican contenido en forma de texto, imágenes, vídeo, audio o una combinación de ellos para expresar sus opiniones, relatar hechos que están ocurriendo en ese momento o mostrar situaciones de interés. Una línea de investigación actual relacionada con estas herramientas consiste en el crowdsensing, i.e. el análisis y la interpretación de la ingente cantidad de información que se publica a diario en dichas herramientas. Son varios los retos que se plantean a la hora de desarrollar aplicaciones que puedan hacer uso de la información proporcionada por los usuarios de las redes sociales, los cuales se conciben como sensores sociales. Por un lado, cada vez es más frecuente encontrar diferentes tipos de información (p.ej. texto, audio, imágenes, etc.) incluidos en una misma publicación y, por tanto, es necesario extraer las características más relevantes de cada elemento con el fin de combinarlas y aumentar así la información sobre el contexto relativo al evento descrito en la publicación. Por otro lado, debido a la enorme cantidad de información a procesar, las técnicas tradicionales de fusión de información semántica deben adaptarse y combinarse con técnicas de aprendizaje automático y computación de altas prestaciones para poder ofrecer respuestas en tiempo real a partir del análisis de decenas de miles de publicaciones. Para dar respuesta a estos retos, este proyecto propone el desarrollo de ALLEGRO (Adaptive muLti-domain sociaL-media sEnsinG fRamewOrk), un sistema inteligente multimodal (i.e. texto, audio, imagen y vídeo) para el análisis y la fusión de la información publicada en redes sociales. Este sistema está compuesto por diferentes módulos interconectados de análisis, donde se aplicarán técnicas eficientes de aprendizaje automático para la extracción de las características más relevantes y el aumento de la información contextual de las publicaciones. Dichas características convergerán en un módulo de fusión de información, donde se aplicarán técnicas novedosas de integración semántica y aprendizaje profundo para obtener un modelo de conocimiento que describa los eventos o las situaciones que están teniendo lugar en tiempo real en el entorno del ciudadano. Con el fin de evaluar la arquitectura de ALLEGRO, implementaremos un prototipo dentro del marco del desarrollo de ciudades inteligentes. En este sentido, adoptamos un enfoque integral al concepto de ciudad inteligente, donde nos centramos no sólo en detectar problemas relacionados con la calidad de las infraestructuras y servicios proporcionados a los ciudadanos (p.ej. sanidad, alumbrado y transporte, entre otros) sino también en analizar la dimensión sociológica de la ciudad, la cual se refleja en las preocupaciones de sus habitantes (p.ej. conflictos raciales, desempleo y violencia, entre otros). De esta forma, desarrollaremos un sistema de "Social Sensing as a service cuyo objetivo sea abordar todos aquellos aspectos que no contribuyan a mejorar el bienestar y la calidad de vida de los ciudadanos. Aunque la evaluación de este proyecto se centra en el procesamiento de publicaciones en español, construiremos recursos que faciliten la adaptación de nuestro sistema a otras lenguas.