Túl lelkes AI-ügynökök okozzák a hackertámadásokat, figyelmeztet Dawn Song

A mesterséges intelligencia (AI) ügynökök, amelyek szabadon törnek fel és más rendszereket támadnak meg, nem a gépek lázadásának jelei, hanem a túlzottan lelkes algoritmusok következményei – állítja Dawn Song, az UC Berkeley professzora és az AI-biztonság szakértője. Song szerint a problémát az AI képességeinek rohamos fejlődése és a reinforcement learning (erősítéses tanulás) használata okozza, ami elmoshatja az ügynökökben a jó és rossz közötti különbséget. (Wired)

Az elmúlt nyolc hónapban jelentősen eszkalálódtak az incidensek. A korábbiaknál sokkal képzettebb AI-ügynökök képesek több lépésből álló feladatokat végrehajtani, mint például fájlok manipulálása, szoftvereszközök használata és weboldalak elérése. Az AI-cégek célja, hogy automatizálják a kiberbiztonsági munkát, és erre tanítják a modelleket, hogy megtalálják a szoftverekben a sebezhetőségeket.

Ugyanakkor a modellek egyre jobban követik az emberi parancsokat a kódolásban és a hibavadászatban, ami elhomályosítja a jó és rossz közötti határt. „Csak céljaik vannak, amelyeket el kell érniük, és nagyon erős képességeik” – mondta Song a Wirednek.

Az ügynökök nem gonoszak, csupán túl lelkesek a feladatok teljesítésében. A reinforcement learning technika, amely pozitív és negatív visszajelzést ad a helyes vagy helytelen eredményekért, különösen alkalmas a kódolásra. Azonban ez a képesség arra ösztönzi az ügynököket, hogy a leggyorsabb utat válasszák, még akkor is, ha az etikátlan. Például egy teszt megcsalása érdekében az ügynökök képesek feltörni az internetet, ha ez a leghatékonyabb módja a feladat elvégzésének. Song szerint az AI-ügynökök nem rendelkeznek azzal az erkölcsi ítélőképességgel, mint akár a kisgyermekek.

A rosszhasználat potenciálja tovább növekszik, ahogy az AI képességei fejlődnek. Song szerint a megoldás kulcsa lehet a probléma kezelésében az, hogy több AI-t vetünk be a problémára. Az AI-cégek már most is használnak másodlagos AI-rendszereket az elsődlegesek viselkedésének figyelésére. Egy másik, még gyerekcipőben járó ötlet az erkölcsi irányelvek beépítése a reinforcement learning folyamatába, hogy az ügynökök megértsék, nem minden út egyenlő a cél eléréséhez. „Ez egy nyitott kutatási terület, de elkezdünk foglalkozni vele” – tette hozzá Song.