LLM-ek torzítása: 1 bangla kutatás

Az angol nyelvű utasítások globális narratívákat részesítenek előnyben a helyi kontextusokkal szemben a nagy nyelvi modellekben (LLM). Ezt a jelenséget, az úgynevezett globális narratív dominanciát egy új kutatás vizsgálta bangla nyelven, amely egy alacsony erőforrású kulturális kontextus. Az angol nyelvű kérdések szisztematikusan növelik a globális helyettesítést és az intézményi keretezést, miközben csökkentik a helyi perspektívák lefedettségét — írja az arXiv. (ArXiv NLP)

A kutatók létrehoztak egy 717 bangla kulturális példát tartalmazó CulturalNB nevű adatkészletet. Ez párhuzamos bangla–angol kérdés–válasz párokat, valamint támogató bizonyítékokat, metaadatokat és szociokulturális annotációkat tartalmaz. Kilenc élvonalbeli LLM teljesítményét értékelték emberi és két LLM-bíró segítségével, tesztelve a keresztnyelvi konzisztenciát, a nyelvi horgonyzást, a globális helyettesítést, az intézményi elfogultságot és az ismeretelméleti perspektíva lefedettségét.

Kapcsolódó: LLM-ek hibái

Az eredmények azt mutatják, hogy a helyi bizonyítékok javítják a ténybeli konzisztenciát és a perspektíva lefedettséget. Azonban még a helyi bizonyítékok sem tudják teljesen kiküszöbölni a nyelvi okokra visszavezethető ismeretelméleti eltolódásokat. Ez arra utal, hogy az LLM-ek kulturális hibái nem csupán hiányzó tudásból fakadnak, hanem a kontextusba való beágyazódás és a narratívák priorizálásának hiányából is erednek.

Kapcsolódó: LLM-ek teljesítménye

Az angol nyelv dominanciája az LLM-ek betanítási adathalmazában már korábban is ismert volt. A Wikipedia szerint az angol nyelvű tartalmak túlsúlya miatt a modellek hajlamosak az angol nézőpontokat előnyben részesíteni a kisebbségi nyelvekkel szemben. A 18. század végére a Brit Birodalom terjesztette el az angolt gyarmatain, ami a kereskedelem, tudomány, diplomácia és oktatás révén globális nyelvvé tette.

Kapcsolódó: LLM-ek általánosítása