LipNet, leer los labios con inteligencia artificial


La discapacidad auditiva tiene una nueva ayuda de la mano de la inteligencia artificial.

Leer los labios no es fácil. Los profesionales que se dedican a la lectura de labios pueden garantizar unos resultados que varían desde el 20% hasta el 60%, lo que supone una variación muy grande en la que intervienen muchos factores para que la lectura sea la adecuada y sirva para determinar con seguridad lo que se dice.

En la Universidad de Oxford un grupo de investigadores del departamento de inteligencia artificial han mostrado las primeras pruebas de un sistema capaz de leer los labios. En estas primeras pruebas, este sistema obtiene un 93,4% de precisión en la lectura de labios, superando a los profesionales humanos que acertaron en un 52,3% de casos.

Se trata de un programa basado en deep learning, que cuenta con financiación por parte de Alphabet (Google) y es conocido como LipNet,

El sistema fue entrenado bajo un conjunto de datos de investigación conocido como GRID, los cuales contienen miles de vídeos cortos con frases sin sentido que, a su vez, contienen el mismo patrón: comando, color, preposición, letra, número del 1 al 10 y un adverbio. Dentro de este patrón las palabras son limitadas, por lo que algunos investigadores mencionan que los resultados de estas pruebas son exagerados y no se apegan a la realidad.

Sólo se está trabajando con cierto vocabulario y gramática, pero, de esta forma, el sistema crece y se pueden detectar fallos con mayor facilidad, por lo que se puede ir introduciendo mayor información en la base de datos con el tiempo.

LipNet no está pensado para tareas de vigilancia o espionaje, debido a que para obtener una lectura clara este programa necesita ver la lengua del sujeto y una buena iluminación que destaque los labios del resto de la cara.

Por tanto, las primeras aplicaciones estarán dirigidas a la ayuda a personas con discapacidad auditiva. En un futuro se plantean aplicaciones dentro de gafas inteligentes que ayuden a transcribir las palabras de otra persona en entornos ruidosos, además de ciertas funciones de dictado silencioso a asistentes personales, ya sea en el móvil o dentro del ordenador.

En muchas consultas tenemos pacientes con discapacidades auditivas y, sin llegar a estos pacientes, muchos ancianos van desarrollando déficits auditivos que les impiden escuchar con claridad lo que les decimos y, muchas veces, se pueden ir de la consulta sin haberse enterado bien de la pauta de un fármaco o de la petición de determinadas pruebas complementarias. Puede que en un futuro esta tecnología pueda ayudar en la relación médico – paciente con estos pacientes.