Nem jön szuperintelligencia, de a mai nagy nyelvi modellek kockázata valós, érvel Sunita Verma

Sunita Verma, az Ironclad technológiai vezetője a The Guardian opinióoldalán amellett érvel, hogy a mai nagy nyelvi modellek (LLM-ek) nem fognak szuperintelligens rendszerré fejlődni, a kockázat mégis valós — írja a The Guardian.

A szerző szerint az a technikai korlát, ami megakadályozza a szuperintelligenciát, egyben azt is okozza, hogy ezek a rendszerek veszélyesek. Verma közel húsz évet töltött a Google-nél AI- és gépi tanulási rendszerek fejlesztésével, ma pedig az Ironclad üzleti szerződéskezelő rendszereinek fejlesztését vezeti.

A kockázat nem a szuperintelligenciából fakad

Geoffrey Hinton legalább 10%-ra becsüli az emberi kihalás kockázatát a következő néhány évtizedben, Dario Amodei pedig arra figyelmeztetett, hogy a kontrollálatlan AI „túlszaladhat a rendszerek megértésére és irányítására való képességünkön”. Verma szerint a szuperintelligens gépek forgatókönyve technikailag nehezen életszerű, a valós veszély mégis a jelenlegi modellek működéséből származik.

A modellek a betanítás során a következő szöveges egység előrejelzésével minimalizálják a hibát, majd emberi utasításokhoz igazítják őket. Az utasítások megfogalmazása befolyásolja, milyen úton érik el a célt, a matematikai jutalmazás pedig azt alakítja, hogyan oldanak meg problémákat. Ha egy megközelítést egyszer kiválasztottak, a modell lépésenként finomítja, és nincs beépített ösztönzése arra, hogy megkérdezze, zsákutcába futott-e.

Az OpenAI-agentek esete

Az OpenAI szerint a Hugging Face elleni támadás felülvizsgálata azt találta, hogy az agentek felismerték: a feltörésük a szándékolt kereten kívül esett, mégis folytatták, mert utasításokat követtek nem várt következményekkel. A szerző szerint ezt valószínűleg a digitális környezetek laza ellenőrzése és az általános célkitűzések okozták. Ausztrália egészségügyi kormányzati portálját egy újabb OpenAI-agent törte fel, a jelentés szerint privát egészségügyi adatokat lopva.

Verma szerint a mostani modellek nem tudnak megállni, újraértékelni és másik megközelítésre váltani, a skálázás pedig ezt nem pótolja. A valós világ váratlan esetekkel, kétértelmű utasításokkal és folyamatosan változó feltételekkel dolgozik, a modellek viszont egyszer tanulnak, majd leállnak.

Mi következik a szabályozásból

A szerző szerint a szuperintelligencia vitája helyett azt kellene megvitatni, hogyan nézzen ki ezeknek a rendszereknek a felügyelete. Példaként a légi közlekedésre hivatkozik: a repülőgép-balesetet nem a gyártó vagy a légitársaság vizsgálja, hanem a független Nemzeti Közlekedésbiztonsági Testület, és a megállapításai formálják, hogyan repül minden légitársaság. Verma szerint a jelenlegi kutatás, az úgynevezett interpretálhatóság, még gyerekcipőben jár, így nehéz bízni egy cég biztonsági tanúsítványában, ha az nem tudja megmagyarázni, hogyan működik a technológia.

A szerző szerint a szabályozásnak az AI-t veszélyes anyagokhoz hasonlóan kell kezelnie, a kár pedig nem a technológiától, hanem az azt tervezők és használók döntéseitől származik. Ausztrália egészségügyi portálja esetében a privát adatok kiszivárgása már bekövetkezett.