BSC y UPC trabajan con IA para incluir la lengua de signos a aplicaciones como Alexa y Siri

El objetivo de este sistema, todavía en fase experimental, es «romper algunas de las barreras de comunicación a las que habitualmente se enfrentan» las personas sordas como que la lengua de signos no esté incluida en aplicaciones como Alexa y Siri, informa el BSC en un comunicado este jueves.

Los autores han combinado técnicas de visión por computador, procesamiento de lenguaje natural y aprendizaje automático para avanzar en la investigación en la traducción automática de lengua de signos, «un problema complejo» debido a la variabilidad y gran cantidad de lenguas de signos que existen.

El sistema que han desarrollado utiliza un modelo de aprendizaje automático denominado Transformers, que es la base de otras herramientas de inteligencia artificial como el ChatGPT, para convertir frases enteras en lengua de signos en formato vídeo a lengua hablada en formato texto.

Actualmente está centrado en la lengua de signos americana (American Sign Language, ASL) pero puede «adaptarse a cualquier otra lengua siempre que estén disponibles todos los datos necesarios», es decir, que exista un corpus con datos paralelos donde cada frase de lengua de signos (en formato vídeo) tenga la correspondiente traducción en lengua hablada (en formato texto).

"mucho margen de mejora"

Los investigadores creen que todavía hay «mucho margen de mejora» pero han remarcado que los resultados de este trabajo son un paso en la dirección correcta para crear una aplicación que dé servicio a los usuarios.

«El objetivo es seguir trabajando para mejorar la herramienta y obtener una aplicación real que impulse la creación de tecnologías accesibles para personas sordas», han afirmado desde el BSC y la UPC.