• UABDivulga
26/11/2020

Jocomunico: un sistema de comunicación que transforma los pictogramas a lenguaje natural

jocomunico

Actualmente, se pueden mitigar los problemas graves del habla con sistemas de comunicación aumentativa y alternativa (CAA) que sustituyen o complementan esta función transformándola, según el sistema, en diferentes tipos de mensaje, muchos de ellos en lenguaje telegráfico. Aun así, la calidad de la interacción es, a menudo, frustrante para los usuarios. Esta investigación llevada a cabo por Joan Pahisa durante su doctorado en el Departament d'Enginyeria de la Informació i les Comunicacions (DEIC) en la UAB, se centró en crear un nuevo sistema de CAA, Jocomunico, basado en pictogramas que ayudara a mejorar la calidad de la interacción y con ello, la calidad de vida de las personas.

Fotograma de la app de CAA Jocomunico.

Jocomunico es un sistema de comunicación aumentativa y alternativa (CAA) único si se compara con el resto. La CAA es el conjunto de herramientas y de estrategias que apoyan o que sustituyen el habla. En concreto, Jocomunico es un comunicador basado en pictogramas que pueden utilizar personas con problemas graves en el habla que crean frases mediante paneles de pictogramas.

Lo que hace único al sistema es que transforma el lenguaje telegráfico que resulta del uso de los pictogramas a lenguaje natural, en catalán y castellano. Por ejemplo, traduciría la frase “escuela querer yo ir” a “Quiero ir a la escuela”.

En general, la comunicación a través de herramientas de CAA es lenta y, cuando las frases producidas son de estilo telegráfico, reduce la calidad de la interacción y frustra a los usuarios. Mejorar estos aspectos y, en consecuencia, la calidad de vida de las personas, era la motivación principal del proyecto.

A lo largo del doctorado*, del cual sale Jocomunico, se llevó a cabo una investigación multidisciplinaria en los campos de la CAA, la traducción automática, la lingüística y la accesibilidad del software para desarrollar el sistema y probarlo posteriormente en un entorno real. Las pruebas se realizaron en un centro de día por personas con parálisis cerebral severa durante 3 meses. Los 4 participantes, aparte de parálisis cerebral, tenían diferentes grados de competencia lingüística y de discapacidad cognitiva. De todos modos, como que todos ellos tenían más de 30 años de experiencia en el uso de sistemas de CAA basados en pictogramas, sus habilidades lingüísticas eran estables. Esto era muy importante para poder asegurar que los cambios que se observaran a las pruebas serían consecuencia del nuevo sistema.

Durante las pruebas, se pidió a los participantes que reprodujeran frases preparadas y también que participaran en conversaciones con otro interlocutor adaptadas a sus capacidades. Después de la última sesión, los participantes habían adquirido nuevas competencias lingüísticas, como por ejemplo el uso básico de tiempos verbales (pasado, presente y futuro), y su ratio de comunicación (número de palabras por minuto) se había incrementado ligeramente.

Así mismo, y todavía más importante, el uso del sistema de expansión fue una fuente de motivación para todos ellos y, según la reatrolimentación recibida, también para sus cuidadores y logopedas del centro, puesto que la producción de frases, ahora más naturales, mejoró la experiencia comunicativa.

Finalmente, es importante resaltar que el sistema se adaptó a la competencia lingüística de cada uno de los participantes y, cuando no se utilizaba, fuera de la expansión del lenguaje, ninguna de sus funciones especiales (como los modificadores de género, número, de tiempos verbales o de tipos de frase, que no están disponibles en muchos comunicadores), presentó una curva de aprendizaje. Así pues, las pruebas sugieren que el sistema se puede introducir con facilidad en nuevos usuarios que estén familiarizados con sistemas de comunicación basados en pictogramas.

Los resultados de la investigación se han visto reforzados por el hecho de que, desde su presentación, actualmente más de 1000 personas de toda España están utilizando Jocomunico.

*La tesis fue dirigida por Jordi Herrera Joancomartí.

Joan Pahisa-Solé

Departamento de Ingeniería de la Información y las Comunicaciones.
Universitat Autònoma de Barcelona.

Referencias

Pahisa-Solé J, Herrera-Joancomartí J. Testing an AAC system that transforms pictograms into natural language with persons with cerebral palsy. Assist Technol. 2019;31(3):117-125. doi:10.1080/10400435.2017.1393844. Artículo extraído de la tesis doctoral de Joan Pahisa (UAB), 2017.

 
View low-bandwidth version