A vállalati AI igazi kockázata nem az önálló rendszerek, hanem az AI-ügynökök közötti komplexitás
A vállalati mesterséges intelligencia legnagyobb kockázata nem az önálló ügynökökben, hanem azok közötti komplexitásban rejlik – érvel Rory Blundell, a Gravitee vezérigazgatója. A legtöbb rendszerben az ügynökök közötti kapcsolatok száma nem lineárisan, hanem exponenciálisan nő.
Az AI-ügynökök közötti komplexitás, nem az önálló ügynökök, jelenti a vállalati AI legnagyobb kockázatát — állítja Rory Blundell, a Gravitee vezérigazgatója. A vállalatok gyakran ügynökflottákat telepítenek, amelyek API-hívásokat, más ügynököket és olyan alkalmazásokat érnek el, amelyeket nem gépi döntéshozókra terveztek. Ez a forgatókönyv — egy szélfútta, bonyolult rendszer, amelyet senki sem lát tisztán ahhoz, hogy kormányozni tudja — okozza a legtöbb problémát. (VentureBeat)
A bonyolultság nem az ügynökök számával nő, hanem az általuk létrehozott kapcsolatok számával. Egy rendszerhez egy második ügynök hozzáadása egy kapcsolatot jelent, míg tíz ügynök potenciálisan több tucat kapcsolatot hozhat létre, mivel bármelyik ügynök hívhat egy másikat, ami további hívásokat indíthat el. Egy korábbi, egyetlen rendszert érintő támogatási jegy most négy ügynökön keresztül haladhat, mielőtt emberhez érne, és minden egyes átadás egy jóváhagyatlan döntési pont.
A legtöbb vállalati AI program akkor áll meg, amikor az ügynökökért felelős emberek elveszítik a fonalat. A biztonsági csapatok gyakran nem tudnak válaszolni olyan egyszerű kérdésekre, mint hogy mely ügynökök érhetnek el mely rendszereket, vagy melyik ügynök indított el egy leányvállalati műveletet három lépéssel ezelőtt.
Az ügynökök engedélyeinek kiterjesztése (permissions creep) akkor jelentkezik először, amikor egy ügynök szerencsétlenül kap szerencsétlen API-hozzáférést, és ezt elfelejtik, majd hat hónappal később ez az ügynök bejuthat a fizetési rendszerbe, anélkül, hogy bárki emlékezne a jóváhagyásra.
A felelősség elvékonyodik a lánc mentén futva. Ha öt ügynök érint egy munkafolyamatot, és a negyedik lépésben valami eltörik, akkor nehéz megmondani, ki a felelős egy olyan láncszemért, amelyet soha senki nem kapott meg. Ez egy olyan kormányzási infrastruktúráról szóló történet, amely nem tart lépést az ügynökök tényleges viselkedésével: összekapcsolt, kaszkádos, és gyorsabban szaporodik, mint a nyomon követésükre épített folyamatok.
A probléma megoldása az identitással kezdődik. Minden ügynöknek saját entitásként kell léteznie, nem pedig egy árnyékengedélyként, amelyet a telepítője kölcsönzött. Saját névvel kell rendelkeznie a nyilvántartásban, saját hatókörrel és egy megnevezett emberi szponzorral, aki felelős a tetteiért. Ez azonban nem elegendő. A nehezebb rész a felügyelet, amely a teljes láncon átível, nem csak az egyes láncszemeken. Valós időben kell látni, mit tett egy ügynök, mit indított el lefelé, és hol ér véget ez a nyomvonal.
A felügyelet önmagában csak azt mondja meg, mi történt. A lánc figyelése nem ugyanaz, mint a kontrollálása. Az érvényesítés az a darab, amit a legtöbb program kihagy: az a képesség, hogy megállítsuk a szabályokon kívüli hívást annak végrehajtása előtt, nem csak naplózni, hogy valaki megtalálja egy három héttel későbbi áttekintésben.
A vállalkozásoknak, amelyek komolyan gondolják az ügynökök elszámoltathatóságát, mindkettőre szükségük van. A valódi kockázat soha nem egyetlen ügynök volt, hanem száz, amelyek pontosan azt teszik, amire épültek, egyszerre, olyan kombinációkban, amelyeket senki sem tervezett. Ez a fajta szorzás az, ami miatt a vállalati AI örökké kísérleti fázisban ragad.