Según la última Encuesta de discapacidad, autonomía personal y situaciones de dependencia del Instituto Nacional de Estadística (INE), en España hay 1.230.000 personas con una discapacidad auditiva de distinto tipo y grado. De ellas, más de 27.300 emplean la lengua de signos para comunicarse.

Gracias al uso de diferentes técnicas de visión por computador y de aprendizaje profundo (deep learning), en la Universidad de Alicante han desarrollado una herramienta de bajo coste con el fin de ofrecer asistencia a las personas sordas cuando no puedan ir acompañados de un intérprete.

Sign4all, tras capturar la imagen de la persona y extraer el detalle del esqueleto de los brazos y manos, codifica con color azul la parte izquierda del cuerpo y en rojo la parte derecha, manteniendo en todo momento el anonimato del usuario.

Después, la aplicación traduce el signo utilizado por la persona sorda en tiempo real y, en sentido opuesto, es capaz de signar mediante un avatar virtual palabras en español tecleadas por la persona oyente.

En la actualidad Sign4all consigue interpretar y reconocer el alfabeto de la lengua de signos española (LSE) con una precisión del 80%.

El equipo de trabajo de la UA lleva meses entrenando este nuevo sistema e introduciendo cada vez más signos. En este sentido, ha surgido una colaboración con el Grupo de Investigación de Lengua Española y Lenguas Signadas (GRILES) de la Universidad de Vigo, un grupo con amplia experiencia en el estudio de esta lengua y su uso en diferentes territorios.

La aplicación que han creado para los sordos permite por ahora reconocer el alfabeto de la lengua de signos y signarlo, pero los dos investigadores de la UA disponen ya de un nuevo corpus de datos de vocabulario de alimentación y añadirán, con unas pruebas que están haciendo sus colegas de la Universidad de Vigo, expresiones de interacción social.