Nyelvi modellek buknak a közmondások mélyebb értelmén, új kutatás
A nagy nyelvi modellek nem tudják hűen visszaadni a közmondások mögötti erkölcsi és ok-okozati struktúrát történetekben. A kutatók a közmondásalapú történetgenerálást használják tesztágyként.
A Proverb Aligned Narrative adathalmaz (PAND) nevű adathalmaz perzsa közmondásokat és az azokhoz kapcsolódó, ember által írt történeteket, valamint azok explicit jelentéseit tartalmazza. A modellek viselkedését hibrid értékelési keretrendszerrel elemezték, amely emberi kalibrációjú LLM-alapú értékelést és strukturális metrikákat kombinál. (ArXiv NLP)
A közmondások értelmezése
A tanulmány megállapításai szerint az LLM-ek nehezen tudják hűen visszaadni a közmondások mögötti erkölcsi és ok-okozati összefüggéseket. Bár a modellek képesek koherens és folyékony történeteket generálni, ezek gyakran elveszítik az eredeti közmondás mélyebb, kulturális jelentését.
Kapcsolódó: LLM-ek mérete
A modell fejlesztési lehetőségei
A kutatók azt is kimutatták, hogy az explicit érvelés és az iteratív finomhangolás részben képesek enyhíteni ezeket a hibákat. A modell viselkedését vizsgáló kutatás az ArXiv-on jelent meg, arXiv:2606.12599v1 számon, ahol a szerzők részletesen elemzik a dekompressziós hibák okait és a lehetséges megoldásokat.
Kapcsolódó: LLM-ek torzítása