Algoritmos para geolocalizar vídeos a partir de sus imágenes y sonidos

Investigadores de la Universidad Ramón Llull han creado un sistema capaz de geolocalizar vídeos comparando sus imágenes y sonidos con los de una base de datos audiovisual mundial. En el futuro podría servir para encontrar personas desaparecidas tras dejar colgadas sus imágenes en las redes sociales, o incluso para reconocer los escenarios de las ejecuciones terroristas.

Muchos de los vídeos disponibles en la web se acompañan de algún texto que informa del lugar donde se han grabado, pero hay otros que no presentan esta información. Esto complica la aplicación de las cada vez más frecuentes herramientas de geolocalización de contenido multimedia.

Para solucionarlo, científicos del centro La Salle de la Universidad Ramón Llull (Barcelona) han desarrollado un sistema para situar en el mapa los vídeos que no indican dónde se han producido, todo un reto teniendo en cuenta que la mayor parte de las escenas son sobre la vida cotidianas y no aparecen lugares claramente reconocibles. Como no tienen textos asociados, el método se basa en el registro de sus imágenes o frames y todo el audio.

"La información acústica puede ser tan válida como la visual, y en ocasiones, incluso más, a la hora de geolocalizar un vídeo", apunta Xavier Sevillano, uno de los autores. "En este ámbito utilizamos algunos vectores físicos y matemáticos heredados del campo de reconocimiento de fuentes acústicas, porque ya han demostrado buenos resultados".

Todos los datos obtenidos se fusionan y agrupan en clusters para, mediante algoritmos informáticos desarrollados por los investigadores, poderlos comparar con los de un gran conjunto de vídeos captados y geolocalizados previamente por todo el mundo.

En su estudio, que publica la revista 'Information Sciences', el equipo ha utilizado como referencia casi 10.000 secuencias de la base de datos audiovisual MediaEval Placing task, una iniciativa de comparación o benchmarking para evaluar algoritmos de procesamiento de información multimedia. "En ella se buscan los vídeos que son más parecidos audiovisualmente al que queremos encontrar, para de esta forma detectar sus coordenadas geográficas más probables", dice Sevillano.

El científico señala que el sistema propuesto, "a pesar de contar con una base de datos limitada en tamaño y cobertura geográfica, es capaz de geolocalizar vídeos con más precisión que sus competidores". En concreto, es capaz de situar un 3% de los vídeos dentro de un radio de diez kilómetros respecto a su situación geográfica real vídeos y en un 1% de los casos con una precisión tan solo un kilómetro. Los porcentajes todavía son modestos, aunque aportan una exactitud cuatro veces superior a la alcanzada hasta ahora.

Los investigadores reconocen que su método requerirá de una base audiovisual mucho más amplia para aplicarlo a los millones de vídeos que circulan por internet, pero destacan su utilidad para localizar aquellos que no cuentan con metadatos textuales y las posibilidades potenciales que ofrece.

"Este método podría ayudar a los equipos de rescate a deducir dónde desapareció una persona o un grupo en un lugar remoto, detectando las localizaciones que muestren los vídeos que pudieran haber subido a una red social antes de perder contacto", señala Sevillano.

En el futuro, las fuerzas de seguridad también podrían usarlo, incluso para reconocer los escenarios de las ejecuciones de rehenes y operaciones de grupos terroristas como Al Qaeda o el Estado Islámico. "Nuestro sistema no hace ninguna asunción acerca de la ubicación de los vídeos, pero en estos casos contamos con información adicional muy valiosa para acotar las búsquedas, ya que se supone que estamos hablando de la zona de Irak o Siria, por lo que usaríamos vídeos de referencia solo de allí", explica el investigador.

Otra aplicación mucho más inmediata es facilitar la navegación geográfica en repositorios de vídeos, como YouTube, que justo cumple 10 años esta semana. "Por ejemplo, si quiero ir de vacaciones a Nueva York y me apetece ver vídeos de Manhattan, cuando hago la búsqueda en YouTube me salen vídeos grabados en esta isla, pero también la actuación del grupo The Manhattans de los años 70 y el tráiler de la película Manhattan de Woody Allen, que no son relevantes en mi búsqueda", comenta Sevillano, "y en estos casos, la nueva técnica también puede ayudar".