Jelelnyelv-fordítót hoz a Google DeepMind a Pixel 11-re

Az SL2T modell a jeleket a test pontjain lévő helyzetkoordináták sorozataként dolgozza fel, és közvetlenül streamelhető szöveggé fordítja. Ez a megközelítés lehetővé teszi a fordítási minőség skálázását az adatok mennyiségével, mivel a modellt több mint 50 jelelnyelven, több mint 100 000 órányi adaton tanították be.

A jelelnyelv fordításának kihívásai

A jelelnyelvek, mint például az ASL, önálló, természetes nyelvek, saját nyelvtanukkal és szókincsükkel rendelkeznek, nem csupán az angol „kézen történő” változatai. Ezért a fordításukhoz valódi gépi fordításra van szükség, nem pedig egyszerű jel-szó átalakításra. Emellett a modelleknek képesnek kell lenniük a kéz-, kar-, törzs-, fej- és arcmimikák egyidejű mozgásának nagy képkockasebességű követésére és értelmezésére, ami rendkívül összetett számítógépes látási feladatot jelent.

Integráció és elérhetőség

A Google DeepMind az SL2T-t integrálta a Gboardba és a Live Transcribe-be a Pixel 11 készülékeken. Ez lehetővé teszi a felhasználók számára, hogy a telefonjukba jeleljenek webes kereséshez, üzenetek vagy dokumentumok szerkesztéséhez, vagy akár a Gemini asszisztenssel való interakcióhoz. A Live Transcribe-ben a felhasználók válaszolhatnak a beszélgetésekre jelnyelven, anélkül, hogy gépelniük kellene. A tesztelők szerint az ASL jelelnyelv használata gyorsabb, természetesebb és élvezetesebb, mint az angol billentyűzetelés.