Tehnologija, nazvana sign-language-to-text (SL2T) sada prelazi iz faze istraživanja na uređaje namijenjene korisnicima, počevši od američkog znakovnog jezika (ASL) na modelu Pixel 11.
Model pokreće nove funkcije prevođenja znakova u tekst u aplikacijama Gboard i Live Transcribe. Umjesto tipkanja, korisnici mogu gestikulacijom pretraživati internet, pisati poruke i dokumente ili komunicirati s Googleovim Geminijem. U aplikaciji Live Transcribe korisnici također mogu gestikulacijom odgovarati tokom razgovora.
Za razliku od transkripcije govora, prevođenje znakovnog jezika ne može jednostavno povezati niz zvukova s riječima. Znakovni jezici su zasebni jezici s vlastitom gramatikom i rječnikom. Značenje se također može istovremeno prenositi pokretima ruku, izrazima lica, položajem glave, rukama i torzom.
Zbog toga je prevođenje znakovnog jezika istovremeno problem kompjuterskog vida i problem jezičkog prevođenja. Googleov SL2T osmišljen je tako da se nosi s oba aspekta tako što pokrete osobe koja koristi znakovni jezik prvo pretvara u strukturirani prikaz, a zatim ih prevodi u tekst.
Umjesto slanja sirovog snimka kamere na prevođenje, sistem koristi Googleov model MediaPipe Holistic kako bi identificirao tačke položaja tijela osobe koja koristi znakovni jezik. One uključuju geometrijske koordinate koje predstavljaju pokrete ruku, lica i tijela.
Samo te koordinate šalju se sistemu za prevođenje, dok se originalni video može odmah izbrisati. Ovaj pristup osmišljen je tako da smanji količinu osjetljivih vizuelnih informacija koje napuštaju uređaj, a da modelu i dalje pruži informacije o tome kako osoba koristi znakovni jezik.
SL2T zatim direktno prevodi niz tačaka položaja tijela u tekst. Ne oslanja se na međukorak koji se naziva “glosiranje”, odnosno pojednostavljene oznake koje se često koriste u istraživanjima znakovnog jezika za predstavljanje pojedinačnih znakova. Google navodi da to modelu omogućava bolje razumijevanje elemenata kao što su prostorni odnosi i neverbalni signali.
Sistem je treniran na više od 100.000 sati podataka o znakovnim jezicima koji obuhvataju više od 50 jezika, pri čemu je otprilike četvrtina podataka dolazila iz ASL-a. Google navodi da je treniranje na različitim jezicima, dijalektima i različitim nivoima znanja pomoglo modelu da nauči strukture koje su zajedničke znakovnim jezicima.
Na testu FLEURS-ASL, Google navodi rezultat od 70 BLEURT bodova u režimu “zero-shot”, za koji tvrdi da je značajno bolji od ranije objavljenih rezultata. Kompanija je također testirala model u odnosu na praktične izazove koji bi mogli utjecati na njegovu svakodnevnu upotrebu.
Sistem je osmišljen za prevođenje u stvarnom vremenu, odnosno tokom kontinuiranog prenosa, umjesto obrade već završenog videosnimka. Google navodi da je razvoj uključivao rad na smanjenju kašnjenja, sprečavanju generisanja izmišljenog sadržaja kada osoba ne koristi znakovni jezik te poboljšanju rada s osobama koje koriste lijevu ruku ili samo jednu ruku.
Korištenje jedne ruke posebno je važno kod pametnih telefona jer osoba možda mora jednom rukom držati telefon dok drugom koristi znakovni jezik.
Google je tokom razvoja također uključio gluhe korisnike i organizacije, između ostalog u testiranje, prikupljanje podataka i evaluaciju. Kompanija navodi da je tehnologija razvijena uz doprinos gluhih stručnjaka i savjetodavnog odbora koji predstavlja organizacije gluhih osoba.
Početna verzija podržava prevođenje s ASL-a na engleski jezik u aplikacijama Gboard i Live Transcribe na modelu Pixel 11, a Google navodi da će uslijediti podrška za dodatne uređaje i znakovne jezike.
Ovaj rad bi se s vremenom mogao proširiti i izvan samog prevođenja, pri čemu Google kao buduće pravce razvoja navodi i generisanje znakovnog jezika te druge primjene.
