Un equipo del Instituto de Investigación Informática (III-LIDI) de la Universidad Nacional de La Plata (UNLP) trabaja en el desarrollo de un sistema para traducir a texto, de manera automática, el lenguaje de señas que utilizan las personas hipoacúsicas.
El doctor en Informática Franco Ronchetti, integrante del equipo de programación, precisó que hace cuatro años que trabajan en algoritmos que permitan la clasificación de gestos dinámicos, que son los que uno puede hacer con el cuerpo moviéndose frente a un dispositivo.
Los investigadores comenzaron a investigar con dispositivos del estilo del controlador Kinect, de la consola Xbox de Microsoft, que reconoce gestos corporales y da comandos simples como saltar, moverse, correr o dar patadas.
Sin embargo, en el lenguaje de señas, el trabajo es un poco más complicado porque las manos pueden adquirir muchas formas mientras va haciendo una seña, por lo que clasificarlas es sumamente complejo.
Cómo hicieron
Los investigadores del III-LIDI partieron del concepto de desarrollar un mecanismo de fácil acceso, por eso el primer paso del proyecto consistió en el armado de una base de datos propia del Lenguaje de Señas Argentino, que no existía, con 800 imágenes de las manos estáticas en las 16 posiciones que se usan durante el lenguaje de señas.
Registraron las señas con una cámara convencional o una webcam. Luego desarrollaron un proceso que se conoce como aprendizaje automático, es decir, entrenar un sistema inteligente de una computadora.
La investigación continuó con la filmación de las 64 señas que componen las palabras más usadas del Lenguaje de Señas. Después de que un equipo de 10 personas repitiera cinco veces cada seña frente a la cámara, se obtuvieron 3.200 vídeos que fueron analizados por el sistema para incorporar modos particulares de mover las manos en distintas personas y caracterizar los movimientos constitutivos de cada seña.
"En la universidad hay muchos alumnos hipoacúsicos, y nos pareció que podíamos acercarnos a esa problemática con un herramienta que sea útil", explicó Ronchetti.
Cómo funciona
El sistema funciona con una cámara de vídeo conectada a una computadora, que permite captar la posición y los movimientos de las manos de la persona que se expresa en lenguaje de señas. Con el uso de algoritmos, lo traduce a texto en tiempo real, de manera automática.
En laboratorio
El proyecto todavía se encuentra en una fase de laboratorio y se espera que la aplicación final contenga cientos de señas.
El objetivo de este sistema es que una persona hipoacúsica pueda filmarse con la cámara del celular y que éste convierta las señas a texto.
