LLM-ek hallucinációi most már könnyebben kiszűrhetők a FEPoID-vel
Az új FEPoID kritérium automatikusan kiválasztja a legerősebb köztes rétegeket, ahol a hallucinációs jelek leginkább megjelennek, ezzel felülmúlva a korábbi, gyakran hibás layer-választási módszereket.
A kutatók a hallucinációs jelek erősségét a köztes rétegekben vizsgálták — írja az arXiv. (ArXiv AI)
Miért erősebbek a köztes rétegek?
Az előzetes elemzések szerint a modell belső feldolgozási szakaszaiban a kontextus-integráció és a tudás-reprezentáció intenzívebb, ezért a hamis információk nyomai ott jelennek meg erőteljesebben, míg a végső kimenet már szűri őket.
Az új FEPoID kritérium
A szerzők a First Effective Peak of Intrinsic Dimension (FEPoID) módszert vezették be, amely a dimenzió-csúcsok első hatékony megjelenését keresi a rétegekben, és ez alapján jelöli ki a legígéretesebb réteget a hallucináció-detektáláshoz.
Korábbi automatikus layer-választási eljárások – például a gradient-norm vagy a loss-based módszerek – gyakran eltérő teljesítményt mutattak különböző modellek és feladatok között, így a kutatók azt találták, hogy ezek nem nyújtanak következetes eredményt.
A FEPoID-t a szerzők különböző LLM-architektúrákon, méretekben, valamint kérdés-válasz és összefoglaló hallucináció-detektálási benchmarkokon tesztelték, és úgy tűnik, hogy a módszer jobb pontosságot ér el, mint a korábbi kritériumok.
Az arXiv:2605.26366v1-ben a FEPoID a kérdés-válasz és összefoglaló benchmarkokon is felülmúlta a korábbi módszereket.