Amrut Joshi szerint megbízhatatlanok az LLM-ek bizalmi pontszámai
Amrut Joshi szerint az LLM-ek nem képesek megbízható bizalmi (confidence) pontszámokat generálni, mivel nem rendelkeznek a szükséges információkkal és statisztikai módszerekkel a pontos valószínűségbecsléshez.
A rumple.github.io blogon megjelent elemzés szerint az AI-ügynökök tervezésében alkalmazott bizalmi pontszámok megalapozatlanok, mivel a modellek hiányoznak a pontos valószínűségbecsléshez szükséges statisztikai háttértől. (Hacker News)
Mi a bizalom?
A bizalom valós információkon alapuló becslés. Egy meteorológus 70%-os bizonyossággal jósol esőt, ha a légnyomás, páratartalom és a múltbeli adatok is ezt támasztják alá. Ez a becslés kiszámítható, nem vélemény. Ha két meteorológusnak azonos információi vannak és helyesen alkalmazzák a szabályokat, azonos eredményre jutnak. Ha az időjárás két hét múlva várható, és csak a múltbeli adatok állnak rendelkezésre, a legjobb becslés a szezonális átlag (pl. 30% esély), ami közeledve a dátumhoz pontosítható.
Hogyan mérjük a bizalmi pontszám pontosságát?
Egyetlen nap nem elegendő a bizalmi pontszám ellenőrzésére. Több nap átlagát kell vizsgálni. Ha egy meteorológus 70%-os bizalmat jelzett esőre, és ez 70%-ban be is következett, a pontszám pontos. Ha csak 40%-ban, akkor túl magabiztos volt, ha 90%-ban, akkor alulbecsülte a valószínűséget. A kalibráció mellett fontos, hogy a meteorológus használja a rendelkezésre álló információkat, ne csak az átlagot mondja. A megbízható bizalmi pontszámhoz két dolog kell: az információ mennyiségének tükrözése és a múltbeli adatokkal való ellenőrzés.
Hogyan generál bizalmi pontszámot egy LLM?
Az LLM-ek tokenenként generálnak szöveget, az előző tokenek alapján. Az „0.85” válasz nem belső mérés eredménye, hanem egy valószínűsíthető folytatása a beszélgetésnek. Nem tükrözi az információ mennyiségét, és nem kalibrálták a pontosságra.
Az LLM-ek csak azt tanulták meg, hogyan néznek ki a bizalmi pontszámok a szövegben, nem azt, hogy hogyan feleltessenek meg a valós pontosságnak. Emiatt az ismételt kérdésekre eltérő válaszokat adhatnak, és a megfogalmazás apró változtatásai is befolyásolják a kapott számot. A modell mindig ad egy számot, ami pontosnak tűnik, de csak az eredmények ismeretében derül ki a megbízhatósága.
Bizalmi pontszám mérése LLM nélkül
A megbízható bizalmi pontszámhoz egy szabályrendszert kell építeni, amely az információkat alakítja át pontszámmá, és ezt folyamatosan ellenőrizni kell a valós eseményekkel. Egy ügyfélszolgálati ügynök válaszának bizalmát például az alapján lehet mérni, hogy talált-e releváns cikket a súgóközpontban, hányszor válaszolt már hasonló kérdésre, és mennyire egyeznek az ismételt kérdésekre adott válaszai. Kezdetben a legjobb becslés az eddigi válaszok átlagos helyességi rátája, mint a két hét múlva várható időjárásnál.
Amrut Joshi elemzése szerint a rumple.github.io blogon publikált adatok alapján az AI-ügynökök pontatlan bizalmi pontszámai félrevezetőek, mivel a modellek nem tudnak statisztikai módszerekkel és folyamatos ellenőrzéssel szolgálni.