I løbet af de sidste årtier har forskere regelmæssigt udviklet enheder, der er beregnet til at oversætte American Sign Language (ASL) til engelsk, med håb om at lette kommunikationen mellem mennesker, der er døve og hørehørede og høreverdenen. Mange af disse teknologier bruger handsker til at fange bevægelsen af signering, som kan være klodsede og akavet.
Nu har en gruppe forskere ved Michigan State University (MSU) udviklet en handskeløs enhed på størrelse med et rør Chapstick, som de håber, vil forbedre ASL-engelsk oversættelse.
Teknologien, kaldet DeepASL, bruger en kameraenhed til at fange håndbevægelser og derefter fremføre dataene gennem en dyb indlæringsalgoritme, der passer dem til tegn på ASL. I modsætning til mange tidligere enheder kan DeepASL oversætte hele sætninger snarere end enkeltord og kræver ikke, at brugere skal pause mellem tegnene.
”Dette er en virkelig ikke-påtrængende teknologi, ” siger Mi Zhang, en professor i elektro- og computerteknik, der leder forskningen.
Zhang og hans team håber DeepASL kan hjælpe mennesker, der er døve og hørehøre, ved at tjene som en realtidsoversætter. Det kan være særligt nyttigt i nødsituationer, siger Zhang, når det venter dyrebare minutter at vente på en oversætter. Enheden, der kan integreres med en telefon, tablet eller computer, kan også hjælpe med at lære ASL, siger Zhang. Da mere end 90 procent af døve børn er født af forældre, der hører, er der et stort samfund af voksne, der har brug for at lære ASL hurtigt. DeepASL kunne fungere som en digital tutor og give feedback om, hvorvidt eleverne underskriver korrekt.
Zhang har ansøgt om et patent og håber at have et udstyr på markedet inden for et år. Fordi det er baseret på overkommelig teknologi - bevægelsesfangstsystemet Leap Motion tilbydes for $ 78 - kunne det være mere tilgængeligt end tidligere indsats.
Forskerne Biyi Fang og Mi Zhang demonstrerer DeepASL. (Michigan State University) Men Christian Vogler, professor i kommunikationsstudier ved Gallaudet Universitet, et universitet for døve eller hørehørede, er skeptisk over for apparater, der er designet til at oversætte ASL, og hans skepsis deles af mange i døvefællesskabet.
Enheder generelt 'ikke oversat' ASL, genkender blot håndsignaler og gør dem til et engelsk ord pr. Tegn, siger Vogler. Dette betyder, at centrale grammatiske oplysninger går tabt, information om, hvorvidt en sætning er et spørgsmål, en negation, en relativ klausul og så videre. Mens DeepASL oversætter fulde sætninger, går nogle funktioner i ASL-grammatik ud over håndskilte - ansigtsudtryk bruges ofte som modifikatorer, øjenbryn hævning kan omdanne en sætning til et spørgsmål, kropspositionering kan indikere, når ASL-brugeren citerer en anden.
Indtil videre har "ingen af systemerne endda været fjernt nyttige for folk, der underskriver, " siger Vogler og tilføjer, at forskere ofte ser ud til at have "meget lidt kontakt med [døve og hørehørende] -samfundet og meget lidt idé om deres reelle har brug for.”
Zhangs team testede ikke enheden på mennesker, der var døve og hørehøre, men på studerende i et oversættelsesprogram for tegnsprog. Zhang understreger, at DeepASL er designet til kun at muliggøre grundlæggende kommunikation på dette tidspunkt, og at dette kun er et udgangspunkt. Han siger, at hans team håber at udvide DeepASLs evner i fremtiden til også at fange ansigtsudtryk.
"Det vil være den næste betydelige milepæl for os at nå, " siger han.
Vogler siger, at det er positivt, at MSU-teknologien bruger dybe læringsmetoder, som har haft succes med talesprog. Men på trods af at han ikke nødvendiggør en handske, har enheden sandsynligvis de samme faldgruber i et tidligere system, da det ikke fanger ansigt og kropsbevægelser.
Vogler mener, at forskere skal bevæge sig væk fra tanken om, at enheder til tegnsproggenkendelse virkelig kan imødekomme personlige kommunikationsbehov.
”Vi har mange muligheder for at lette kommunikation via person, og indtil vi har noget, der faktisk respekterer de sproglige egenskaber ved underskrevne sprog og den faktiske kommunikationsadfærd hos underskrivere, vil disse bestræbelser næsten ikke komme i nærheden af at erstatte eller erstatte dem, ” siger han. ”I stedet skal folk arbejde med faktiske medlemmer af samfundet og med mennesker, der forstår kompleksiteten i underskrevne sprog.”
Vogler siger, at det ville være nyttigt for tegnsproggenkendelsesteknologi som MSU'er at arbejde med stemmegrænseflader som Alexa. Væksten af disse grænseflader er en tilgængelighedsudfordring for mennesker, der er døve og hørehæmmede, siger han, ligesom internettet - et stort set visuelt medium - har præsenteret en stor udfordring for mennesker, der er blinde gennem årene.
”Vi har i øjeblikket ikke en effektiv og effektiv måde at interagere med disse stemmegrænseflader på, hvis vi ikke er i stand til eller ikke ønsker at bruge vores stemme, ” siger han. ”Tegnsproggenkendelse er et perfekt match til denne situation, og en, der faktisk kan ende med at blive nyttig og blive brugt.”
