Az OpenAI a perplexitást javasolja közös mérőszámnak az AI-fejlesztés lassításához
Jakub Pachocki, az OpenAI főtudósa a perplexitást javasolja közös mérőszámnak, a belső méréseket pedig közzéteszi. Szerinte 0,8 alatti log-perplexitásnál a kiberbiztonság és a matematika terén is átalakító képességek jelentek meg.

Jakub Pachocki, az OpenAI főtudósa szerint a mai mesterséges intelligencia alapjában úgy épül, hogy egy hatalmas adathalmazon betanítanak egy tömörítőt, vagyis előrejelzőt. A későbbi technikák, például a promptolás, a finomhangolás vagy a megerősítéses tanulás, csak ezután hozzák elő a modellben rejlő képességeket — írja az OpenAI blogja.
A szerző a perplexitást, vagyis a keresztentrópia-veszteséget javasolja közös mércének a fejlesztők között és a biztonsági szabályok alapjául. A perplexitás azt méri, mennyire jól jósolja meg a modell a következő tokent: minél alacsonyabb, annál jobb az előrejelzés. Az OpenAI ezért saját, belső perplexitás-méréseit is közzéteszi, bár ez versenytársainak is többet árul el a cég helyzetéről.
Az egyes modellszintek képességei
Pachocki szerint a GPT-2 volt az első, amely következetes bekezdéseket tudott írni. A GPT-3 már néhány példából tanult a helyzetben, a GPT-3.5 — kb. 0,99-es log-perplexitással — folyékony beszélgetésre volt képes, és ez alkotta az eredeti ChatGPT alapját. A GPT-4, kb. 0,91-es értékkel, produktívan használta a gondolatláncot, ami a mai érvelő modellek létrejöttéhez vezetett.
A szerző szerint 0,8 alatti értéknél már átalakító képességek jelentek meg a kiberbiztonság és a matematika területén. Hozzátette: előre nem volt egyértelmű, hogy ezek a képességek pontosan ezeknél a küszöböknél fognak megjelenni. Ezek az adatok az OpenAI saját, nem független módon ellenőrizhető kiértékelő adathalmazán készültek.
Az AI szerepe a saját fejlesztésében
Pachocki külön kiemeli, hogy az AI egyre nagyobb szerepet vállal a saját fejlesztésében. Szerinte a legnagyobb ugrást az előtanítás algoritmikus kutatásában lehet várni. Az OpenAI matematikai nyitott problémákat is használt a modellek értékelésére, és a 0,76-os log-perplexitású modelltől kezdve a rendszer figyelemre méltó eredményeket produkált.
A szerző szerint a fejlesztés gyorsulása 2027-re akár a pretraining alapvető előrelépéseinek lavináját is hozhatja. Úgy véli, az AI a biztonsági kutatásokhoz is hozzájárul majd, de ez a haladás valószínűleg nem elég gyors ahhoz, hogy kiegyensúlyozza az előtanítás gyorsulását.
Javasolt közös korlátok
Pachocki arra szólít fel, hogy a határmodell-fejlesztők közösen alakítsanak ki értékelési normákat és biztonsági esetek vizsgálatára szolgáló közös szabályokat, köztük átláthatósági előírásokat is. Javasolja olyan közös korlátok bevezetését, amelyek a perplexitáson és más mérőszámokon alapulnának, és amelyeket a fejlesztők addig nem lépnének át, amíg az AI viselkedésének megértése és figyelése el nem ér egy konkrét mérföldkövet.
A szerző a 0,68–0,7 log-perplexitású tartománytól további átalakítóképességeket vár, de azt is elismeri, hogy nem tudja pontosan, melyek lesznek azok. A perplexitás közös mércéként azonban nehézségekbe ütközik: a laboratóriumok eltérő kiértékelő adathalmazokat és tanítóadat-keverékeket használnak, ezért az összehasonlítás még nehéz. A legutolsó konkrét szám a 0,68–0,7-es tartomány, amelyhez Pachocki további áttörést köt.