1500 videómintát tartalmaz az új SyriSign adathalmaz a szíriai arab jelnyelv fordításához
A projektben 20 kutató hat hónap alatt gyűjtött 1500 videót, mely 150 egyedi szíriai arab jelnyelvi jelet ábrázol, és három mélytanulási modellt tesztelt a fordítási lehetőségek felmérésére.
Az új SyriSign adatbázis 1500 videót tartalmaz, mely 150 egyedi szíriai arab jelnyelvi jelet reprezentál. A projektben 20 kutató dolgozott, akik hat hónapig összpontosítottak a szíriai arab jelnyelv (SyArSL) nyelvi adatgyűjtésére. (ArXiv NLP)
Szíriában a legtöbb hírt és információt szóban vagy írott arab nyelven közlik, ami a sikertelenül hallható közösség számára jelentős kommunikációs akadályt jelent. A SyriSign célja, hogy ezeket a korlátokat enyhítse, és lehetővé tegye a jelnyelvi fordítások fejlesztését.
A kutatók a datasetet három mélytanulási architektúrával vizsgálták: a MotionCLIP-et a szemantikus mozgás generálására, a T2M-GPT-t szövegalapú mozgás szintéziséhez, valamint a SignCLIP-et a kettős nyelvi beágyazási illesztéshez. A tesztek erőteljes potenciált mutattak a generatív megközelítésekben.
Az új adatbázis elősegíti a szíriai arab jelnyelvi technológiák kutatását, és kitölti a nyelvi erőforrások hiányát, amely korábban csak magas erőforrású jelnyelvekhez tartozott.
A következő lépés a SyriSign alapján készült modellek továbbfejlesztése, hogy valós idejű, pontos jelnyelvi fordításokat nyújtsanak a szíriai DHH közösség számára.