Biztosan téves válaszokat adnak az AI-modellek, új teszt mutatja ki

A nagy nyelvi modellek (LLM) által támogatott vállalati eszközök fejlesztésében gyakran kihagyják azt a lépést, amelyik a legfontosabb lenne: annak ellenőrzését, hogy a modell által generált válasz valójában helyes-e. A „hangzik jól” és a „bizonyíthatóan helyes” közötti különbség az, ahol ezek az eszközök csendben elbuknak, mert belsőleg átmennek a szemlén, de a valós használat során megbuknak. (VentureBeat)

Az AI-támogatású eszközök a produktivitási kiegészítőkből valós üzleti döntéseket befolyásoló komponensekké válnak. Ha egy AI-eszköz alakítja, hogyan vizsgál egy elemző adatminőségi problémát, hogyan dönt egy megfelelőségi felülvizsgáló egy jelölt rekordról, vagy hogyan kezeli egy műveleti csapat az érvényesítési hibát, akkor a válasz pontossága komoly következményekkel járhat. Ebben az esetben az „észszerűnek tűnik” nem elegendő értékelési standard.

A minőségi értékelés korlátai

Az LLM-kimenetek hagyományos értékelési módszere minőségi: domain-szakértők átnéznek néhány kimenetet, és ítéletet hoznak egy mentális modell alapján. Ez azonban csak a nyilvánvalóan hibás, rosszul formázott vagy témán kívüli problémákat kapja el. Azt a hibatípust, amikor a válasz téves, de hitelesnek tűnő nyelvezettel és meggyőző érveléssel van alátámasztva, ez a módszer nem képes kimutatni. Ilyenkor az AI magabiztosan téved, és ez a hiba csak akkor derül ki, ha valaki külső tényekkel ellenőrzi.

Az értékelő keretrendszer felépítése

Az alternatíva egy olyan értékelő keretrendszer (eval harness) építése, amely a modell kimenetét címkézett, ismert helyes válaszokhoz (ground truth) méri. Arun Mishra egy ilyen rendszert fejlesztett egy adatmigrációs sodródás gyökök-okát magyarázó eszközhöz. A keretrendszer három részből áll: egy szintetikus ground truth adathalmazból, amelyben a helyes válasz ismert; egy pontozási funkcióból, amely értékeli a rangsorolt kimenetet (nem csak bináris helyes/helytelen); és egy rendszerszintű értékelésből a teljes adathalmazon, nem csak foltszerű ellenőrzéssel.

A tesztelés eredményei

A tesztelés során kiderült, hogy az AI-modellek legmagabiztosabbak akkor voltak, amikor a leginkább tévedtek. A sémaváltozásokkal kapcsolatos forgatókönyvek jól teljesítettek, de az átfedő jelű esetek, ahol két különböző ok következett be egymás után, a legmagasabb arányban produkáltak magabiztosan téves magyarázatokat. Ezt a mintázatot a hagyományos minőségi értékelés sosem fedezte volna fel.

A gyakorlati következmény az, hogy az LLM-támogatású eszközök gyártóinak a gyártás előtti élesítés előtt meg kell mérniük a pontosságot olyan esetekben, ahol ismerik a helyes választ, nem csak azt ellenőrzik, hogy a kimenetek ésszerűnek tűnnek-e. A szintetikus ground truth adathalmaz létrehozása a legnehezebb, de a leginkább megérő rész, amely pontosan definiálja, mit jelent a „helyes” egy adott használati esetben, mint például Arun Mishra adatmigrációs eszköze.