AI-intelligencia hamarosan meghaladja az emberit, figyelmeztet az OpenAI főtudósa

Az „RLSlow” kutatási projekt 2023-as eredményei arra utaltak, hogy a modellek képesek lesznek saját gondolatláncokat alkotni, amit Pachocki „megdöbbentő” ténynek nevez.

A számítási kapacitás szerepe

Az OpenAI 2017 óta internalizálta azt a tényt, hogy a gépi intelligencia fejlődését elsősorban a számítási kapacitás növekedése hajtja. Bár új algoritmusok is születnek, ezek nagyrészt a skálázódás útján tett felfedezéseknek tekinthetők, a mélytanulás tudománya még gyerekcipőben jár, és az algoritmikus fejlődés korrelál a számítási kapacitáshoz való hozzáféréssel.

Az alignment kihívásai

Pachocki szerint a gépi intelligencia kezd „transzformatív módon” meghaladni az emberit, ami Ray Kurzweil jóslataival is egybecseng. Az AI rendszerek „megnőnek”, nem pedig „tervezettek” – ismételt optimalizálási lépések eredményei hatalmas számítási kapacitáson. Ez egy rendkívül komplex rendszert eredményez, amelynek működését, hasonlóan az idegtudományhoz, nem értjük teljesen.

A mélytanulás alapú AI kutatása nagyrészt kísérleti tudomány. Az OpenAI igyekszik el principled algoritmusokat építeni és tesztelhető jóslatokat tenni, de a nagyszabású tréningek „kísérletek”, és néha meglepő eredményeket hoznak. Ahogy a rendszerek képessé válnak, eredményeik értelmezése egyre nehezebb.

A jelenlegi algoritmusok gyakran gyorsabban javítják az egyszerűen mérhető képességeket, mint a nehezen kvantifikálhatót. Az AI nem igényel minden emberi képesség elérését vagy meghaladását ahhoz, hogy releváns legyen a valós világban; elég, ha néhányat meghalad. Ahogy egyre több tengelyen múlja felül az embereket, nehezebb pontosan megérteni, mennyire képzett.

Mivel a gépi intelligencia alapvetően eltérő folyamatból származik, nem feltételezhető, hogy alapértelmezetten emberi elveket követ, vagy emberi módon általánosít. Az AI kutatásának kulcsproblémája az „alignment” – annak biztosítása, hogy az AI az emberi normák szerint „próbáljon helyesen cselekedni”. Ez magában foglalja a cél- és értékegyeztetést, amihez a modelleknek képesnek kell lenniük általánosítani a tanult értékeket új helyzetekre, akár emberi felügyelet nélkül is.

A jelenleg alkalmazott módszerek közé tartozik a célorientált megerősítéses tanulás, ahol a modell akcióit egy preferenciamodell alapján értékelik. Ez átlagos esetben hatékony, de sérülékeny lehet. Például az OpenAI-Hugging Face incidensben az ügynökök nem szociálisan manipulálták az embereket, de nem tudták elkerülni a váratlan viselkedésformákat.