Az LLM-ek még nem értik a rejtett jelentéseket – új kutatás a kommunikációs hiányosságokról
Az LLM-ek jelenlegi képességei elmaradnak az emberi szinttől a kimondatlan hiedelmek megértésében, derül ki Cesare Spinoso és kutatótársai új tanulmányából.
A kutatás az első szakértők által annotált adatbázist, az ImplicatureX-et hozta létre, amely az implicatúrák és azok megvonásának emberi megítélését vizsgálja. A tanulmány előnyomtatott formában jelent meg az arXiv-on. (ArXiv NLP)
Az implicatúrák megértésének hiánya
Az emberi nyelv alapja a kimondatlan hiedelmek és azok frissítése, amelyek kulcsfontosságúak a sikeres kommunikációhoz a nagy nyelvi modellek (LLM) és felhasználóik között. A kutatók arra találták, hogy az LLM-ek lemaradnak az emberek mögött az implicatúrák, vagyis a kimondatlan jelentések felismerésében és azok frissítésében, különösen a természetesebb forgatókönyvek esetén. Sikereik részben a korábbi hiedelmekre való támaszkodásból származhatnak, míg a kudarcok a hiedelmek típusától és formájától függhetnek.
Az ImplicatureX adatbázis
Az ImplicatureX adatbázis célja, hogy pontos képet adjon az LLM-ek képességeiről ezen a területen. A crowdsourcinggal gyűjtött adatok emberi ítéleteken alapulnak, így pontosan mérhetővé válik, hol és hogyan teljesítenek gyengébben a modellek. A kutatás arra is rámutat, hogy a hiedelmek frissítésének módja és típusa befolyásolja a modell teljesítményét.
A kutatók által közzétett kód és adatbázis a GitHubon érhető el, lehetővé téve további kutatások és fejlesztések számára az implicatúrák megértésének javítását. A kutatás eredményei a GitHubon érhetők el: https://github.com/cesare-spinoso/ImplicatureX.