Elavult adatok alapján döntenek az AI-ügynökök, új teszt mérte a hibákat
Kutatás kimutatta: a hibaarányt nem az architektúra, hanem a modell mérete határozza meg. A Pythonban készült tesztrendszer két determinisztikus végrehajtóval vizsgálta a kontextusablakban maradt, érvényét vesztett információk hatását.
Az AI-ügynökök kontextusablakaiban tárolt információk elveszíthetik érvényességüket, miközben az ügynök továbbra is ezek alapján hoz döntéseket. Ez felesleges számítási lépésekhez és feladatmegvalósítási hibákhoz vezethet. A probléma nem a memória elvesztése, hanem az elavult, de mégis jelenlévő adatok téves használata. (Towards Data Science)
A fejlesztő két determinisztikus végrehajtót épített: az egyik ellenőrzi az információk érvényességét cselekvés előtt, míg a másik csak cselekvés után szembesül a hibával. A 96-féle konfigurációt tesztelő teljesítményteszt kimutatta, hogy a kontextusablak mérete, nem pedig a grafikus struktúra határozza meg a felesleges munkamenetek számát.
A kontextusablakok korlátai
A hagyományos kontextusablakok alapvetően egy naplószerű felépítéssel rendelkeznek, amely rögzíti az eseményeket, de nem képes ellenőrizni az információk aktuális érvényességét. Ezzel szemben egy validitásréteg képes jelezni, hogy egy adott információ még használható-e.
A benchmarkban minden ténynek négy állapotot tulajdonítottak: ACTIVE (aktív, jelenleg támogatott), STALE (korábban igaz volt, de újabb adatok léteznek), SUPERSEDED (egy új megfigyelés teljesen felváltotta) és UNKNOWN (nincs elegendő bizonyíték). Ez a negyedik állapot különösen fontos, mivel lehetővé teszi az ügynök számára, hogy ellenőrizze a tényt, mielőtt cselekszik, harmadik választási lehetőséget kínálva a hiba és az elfogadás között.
Faktoriális és működésbeli érvénytelenség
Fontos megkülönböztetni a faktoriális érvénytelenséget (amikor egy tény egyszerűen hamissá válik, pl. egy repülőjegy árának emelkedése) a működésbeli érvénytelenségtől (amikor egy tény még igaz, de már nem támaszt alá döntést, pl. egy offline adatbázis rekordjainak száma). Egy validitási rendszer nem csupán időbélyeget használhat, mert az csak az adat korát jelzi, nem pedig azt, hogy az azt előállító rendszer még működik-e.
A teljesítményteszt eredményei
A fejlesztő által végzett kísérletek azt mutatják, hogy a méret volt a fő meghatározója a felesleges lépéseknek. Egy repülőjegy ára például 420 dollárról 610 dollárra emelkedett; a baseline végrehajtó csak akkor szembesült a problémával, amikor cselekedni próbált, míg a validitás-tudatos végrehajtó azonnal újratervezett. A teljesítményteszt 96 különböző konfigurációt tesztelt az eredmények validálásához.