Negli ultimi decenni, i ricercatori hanno sviluppato regolarmente dispositivi intesi a tradurre la lingua dei segni americana (ASL) in inglese, con la speranza di facilitare la comunicazione tra le persone sorde e con problemi di udito e il mondo dell'udito. Molte di queste tecnologie usano i guanti per catturare il movimento della firma, che può essere voluminoso e scomodo.
Ora, un gruppo di ricercatori della Michigan State University (MSU) ha sviluppato un dispositivo senza guanti delle dimensioni di un tubo di Chapstick che sperano possa migliorare la traduzione ASL-inglese.
La tecnologia, chiamata DeepASL, utilizza un dispositivo con videocamera per acquisire i movimenti della mano, quindi alimenta i dati attraverso un algoritmo di apprendimento profondo, che li abbina ai segni di ASL. A differenza di molti dispositivi precedenti, DeepASL può tradurre intere frasi anziché singole parole e non richiede agli utenti di mettere in pausa tra i segni.
"Questa è una tecnologia davvero non intrusiva", afferma Mi Zhang, professore di ingegneria elettrica e informatica che guida la ricerca.
Zhang e il suo team sperano che DeepASL possa aiutare le persone sorde e con problemi di udito servendo come traduttore in tempo reale. Potrebbe essere particolarmente utile in situazioni di emergenza, dice Zhang, quando aspettare un traduttore potrebbe costare minuti preziosi. Il dispositivo, che potrebbe essere integrato con un telefono, tablet o computer, può anche aiutare a insegnare ASL, dice Zhang. Dal momento che oltre il 90% dei bambini non udenti è nato da genitori che stanno ascoltando, esiste una grande comunità di adulti che hanno bisogno di apprendere rapidamente l'ASL. DeepASL potrebbe fungere da tutor digitale, fornendo feedback sul fatto che gli studenti stiano firmando correttamente.
Zhang ha richiesto un brevetto e spera di avere un dispositivo sul mercato entro un anno. Poiché si basa su una tecnologia conveniente, il sistema di acquisizione del movimento Leap Motion costa $ 78, potrebbe essere più ampiamente accessibile rispetto agli sforzi precedenti.
I ricercatori Biyi Fang e Mi Zhang dimostrano DeepASL. (Michigan State University) Ma Christian Vogler, professore di studi sulla comunicazione all'Università di Gallaudet, un'università per persone non udenti o con problemi di udito, è scettico nei confronti dei dispositivi progettati per tradurre l'ASL, e il suo scetticismo è condiviso da molti nella comunità dei sordi.
I dispositivi generalmente non "traducono" realmente l'ASL, ma semplicemente riconoscono i segni delle mani e li trasformano in una parola inglese per segno, afferma Vogler. Ciò significa che si perdono le informazioni grammaticali chiave, informazioni sul fatto che una frase sia una domanda, una negazione, una clausola relativa e così via. Mentre DeepASL traduce frasi complete, alcune caratteristiche della grammatica ASL vanno oltre i segni della mano: le espressioni facciali sono spesso usate come modificatori, l'innalzamento del sopracciglio può trasformare una frase in una domanda, il posizionamento del corpo può indicare quando l'utente ASL sta citando qualcun altro.
Finora, "nessuno dei sistemi è stato nemmeno lontanamente utile per le persone che firmano", afferma Vogler, aggiungendo che i ricercatori sembrano spesso avere "pochissimi contatti con la comunità dei [non udenti e con problemi di udito] e la minima idea del loro reale esigenze."
Il team di Zhang non ha testato il dispositivo su persone sorde e con problemi di udito, ma su studenti in un programma di traduzione della lingua dei segni. Zhang sottolinea che DeepASL è progettato per consentire solo la comunicazione di base a questo punto e che questo è solo un punto di partenza. Dice che il suo team spera di estendere le capacità di DeepASL in futuro per catturare anche le espressioni facciali.
"Sarà il prossimo traguardo importante per noi da raggiungere", afferma.
Vogler afferma che è positivo che la tecnologia MSU stia usando metodi di apprendimento profondo, che hanno avuto successo con la lingua parlata. Ma, nonostante non necessiti di un guanto, il dispositivo ha probabilmente le stesse insidie di qualsiasi sistema precedente, poiché non cattura i movimenti del viso e del corpo.
Vogler pensa che i ricercatori dovrebbero abbandonare l'idea che i dispositivi di riconoscimento della lingua dei segni possano davvero soddisfare le esigenze di comunicazione di persona.
"Abbiamo molte opzioni per facilitare la comunicazione di persona, e fino a quando non avremo qualcosa che rispetti effettivamente le proprietà linguistiche delle lingue firmate e gli effettivi comportamenti comunicativi dei firmatari, questi sforzi non andranno da nessuna parte vicino a soppiantarli o sostituirli", dice. "Invece, le persone hanno bisogno di lavorare con i membri effettivi della comunità e con persone che comprendono la complessità delle lingue firmate".
Vogler afferma che sarebbe utile che la tecnologia di riconoscimento del linguaggio dei segni come MSU funzionasse con interfacce vocali come Alexa. La crescita di queste interfacce è una sfida all'accessibilità per le persone sorde e con problemi di udito, afferma, proprio come Internet, un mezzo in gran parte visivo, ha rappresentato una grande sfida per le persone non vedenti nel corso degli anni.
"Al momento non abbiamo un modo efficace ed efficiente per interagire con queste interfacce vocali se non siamo in grado o non vogliamo usare la nostra voce", afferma. "Il riconoscimento della lingua dei segni è una corrispondenza perfetta per questa situazione e potrebbe effettivamente rivelarsi utile e abituarsi."
