Kétnyelvű beszédet észlel a Whisper modell, könnyebb lesz többnyelvű adatbázisokat építeni

A CNN baseline 0.776-os és a HuBERT linear baseline 0.751-es F1-pontszáma alacsonyabb, mint a Whisper-small encoderrel elért 0.798-as átlag a 14 nyelvet tartalmazó CS-FLEURS teljesítményteszten. Ezek az összehasonlított modellek monolingual nyelvazonosításra lettek tanítva. (Apple Machine Learning Research)

A kódkapcsolás (code-switching, CS) — amikor valaki egy mondaton belül vált nyelvet — gyakori a többnyelvű beszélők körében, de kevésbé van jelen a gépi tanulási modellek betanítására használt adatokban. Az Apple kutatói, Jie Chi, Zakaria Aldeneh, Masha Fedzechkina, Maureen de Seyssel és Natalie Schluter által jegyzett tanulmány egy könnyűsúlyú módszert mutat be, amely közvetlenül a hangfelvételből képes észlelni a CS-t. Ez a megközelítés segít nagyobb és reprezentatívabb többnyelvű beszédadatbázisok létrehozásában.

Nyelvspecifikus dimenziók azonosítása

A kutatók a pretrained speech encoderekben található, nyelvspecifikus rejtett állapotokat azonosították. Ezek a dimenziók segítenek megállapítani, hogy egy adott hangfelvétel mindkét nyelvet tartalmazza-e. A módszer előnye, hogy nem igényel pontos többnyelvű átiratokat, amelyek beszerzése bonyolult és időigényes lehet. Azonosították a nyelvre szelektív dimenziókat monolingual felvételek segítségével, majd ezek aktivációit aggregálták a CS-előrejelzéshez.

Eredmények és összehasonlítás

A Whisper-small encoderrel végzett kísérletek során a módszer átlagos F1-pontszáma 0.798 lett a 14 nyelvet tartalmazó CS-FLEURS teljesítményteszten. Ez az eredmény felülmúlja a CNN baseline (0.776 F1) és a HuBERT linear baseline (0.751 F1) teljesítményét, amelyeket monolingual nyelvazonosításra tanítottak. A szerzők szerint ez azt sugallja, hogy a pretrained speech encoderek már tartalmazzák a CS-mondatok azonosításához szükséges információt.

Az új megközelítés leegyszerűsíti a többnyelvű beszédadatbázisok bővítését, ami kulcsfontosságú lehet az automatikus beszédfelismerő (ASR) és más természetes nyelvi feldolgozó rendszerek fejlesztésében. A kutatás ugyanakkor kiemeli, hogy az eredmények egyelőre egy specifikus modellre és adatkészletre vonatkoznak, és további vizsgálatok szükségesek a módszer általánosíthatóságának megértéséhez különböző nyelvek és modellek esetében. A Whisper-small encoderrel mért 0.798-as F1-pontszám a CS-FLEURS adatkészleten ért el eredményt.