Bengáli nyelven tesztelik a chatbotok érzelmi igazodását, új teljesítménytesztet vezetnek be

Az eddigi kutatások főként a ténybeli egyezésekre és az utasításkövetésre koncentráltak, figyelmen kívül hagyva a kulturálisan megalapozott konverzációs szofisztikát. A kutatók most bemutatták a BenSyc-et, az első olyan teljesítménytesztet, amely a bengáli társadalmi kontextusban vizsgálja ezt a jelenséget — írja az arXiv. (ArXiv NLP)

A bangladesi és nyugat-bengáli közösségekből származó 11 840 Reddit-poszt és 170 000 komment alapján létrehozott, ember által validált teljesítményteszt bináris címkéket és egy ötszintű — Invalidation, Neutral, Support, Validation, Escalation — taxonómiát tartalmaz.

Kapcsolódó: LLM-ek csapdája

A modellek teljesítménye a teszteken

A kutatók több mint 15 nyílt és szabadalmaztatott LLM-et értékeltek konverzációs igazodási osztályozási és válaszadási feladatokon. Az eredmények azt mutatják, hogy még a legfejlettebb, utasításokra hangolt modellek számára is kihívást jelent az empatikus támogatás és a megerősítésorientált validálás megkülönböztetése.

Kapcsolódó: LLM-ek hibája

A legjobb rendszer mindössze 61,8 Macro-F1 pontszámot ért el bináris detektáláson, és 61,7 Macro-F1-et az ötosztályú osztályozáson. Válaszadási beállításokban több modell gyakran erősen validáló vagy eszkaláló válaszokat produkált érzelmileg megterhelt helyzetekben.

Kapcsolódó: társalgás időzítése

Kulturális teljesítménytesztek fontossága

A leletek jelentős eltéréseket mutatnak a modellcsaládok és a konverzációs viselkedések között. Ez aláhúzza a kulturálisan megalapozott, többnyelvű teljesítménytesztek fontosságát a társadalmilag igazodó konverzációs AI-rendszerek értékelésében. A kutatás a bengáli nyelvű közösségekben gyűjtött adatokra épült, kiemelve a nyelvi és kulturális sokszínűség szerepét az AI-fejlesztésben. A BenSyc teszt eredményeit az arXiv oldalon lehet megtalálni.

Kapcsolódó: emberi szociális logika