Richard Sutton szerint a nyers számítási kapacitás nem elég az intelligenciához
Sutton szerint a nagy nyelvi modellek puszta skálázása és a szintetikus adatok nem vezetnek el az igazi skálázódáshoz, mert az emberi szakértelem szűk keresztmetszetet jelent. Helyette világmodelleket használó, saját tapasztalataiból folyamatosan tanuló agenteket javasol.
Richard Sutton, a Turing-díjas kutató új bejegyzésében azt írja, hogy az intelligencia felé vezető úthoz okos új módszerekre van szükség. Posztja széles vitát indított el az AI-közösségben az X-en, ami arra utal, hogy megérintett egy érzékeny pontot. (The Decoder)
Sutton 2019-es, „The Bitter Lesson” című esszéjében amellett érvelt, hogy az általános, számítási kapacitással skálázódó módszerek idővel legyőzik az emberi tervezésű, kifinomult megoldásokat. Számára az a fontos, hogy az ötletek a számítással együtt nőjenek, ne emberi feltevésekre épüljenek.
Korábbi kritikák a nyelvi modellekről
Sutton álláspontja nem új. Korábbi megnyilatkozásaiban már bírálta a nagy nyelvi modellek puszta skálázásának határait. A szintetikus adatokat „nagy hibának” nevezte, mert a valós világ végtelenül összetett, a szimulációi pedig csak „mikroszkopikusak”. Szerinte az emberi szakértelem szűk keresztmetszetet jelent, amely megakadályozza az igazi skálázódást.
Helyette olyan agentek mellett érvelt, amelyek világmodelleket használnak, és folyamatosan tanulnak saját tapasztalataikból. Sutton szerint a világ sokkal összetettebb annál, amit az internetes szövegek visszaadnak, a mai nyelvi modellek pedig a betanítás után nem tanulnak tovább. Szükség lenne folyamatos tanulásra úgy, hogy közben nem vesznek el a régi tudások.
Kutatók a nyelvi modellek mérlegén
Jerry Tworek AI-kutató, aki többekhez hasonlóan elhagyta az OpenAI-t, hogy új megközelítéseket keressen, a következőképpen értelmezi Sutton legutóbbi állítását. Szerinte a keserű lecke továbbra is érvényes, de minél több számítás megy a modelltanításba, annál fontosabb az algoritmus. Vannak algoritmusok, amelyek skálázódnak, mások zsákutcába futnak, és a skálázás sok dimenziója még teljesen feltáratlan. A transzformer-skálázás átmeneti sikere, párosulva a keserű lecke félreértelmezésével, szerinte „jutalomhackelte egy egész tudósnemzedék agyát”.
Jayden Teoh AI-kutató egy másik szempontot tesz hozzá. Elmondása szerint többször látta, hogy a keserű lecke visszafogja az akadémiai kutatást, mert ígéretes ötleteket vetnek el azért, mert túlságosan eltérnek a szellemiségétől. Teoh szerint ez nem Sutton hibája, hanem eredeti üzenetének félreértelmezése.
Hozzáteszi, hogy az utólag a keserű leckével ellentétesnek bizonyuló ötleteket gyakran tisztább, általánosabb megközelítések váltották fel. Ettől azok az ötletek nem voltak hibásak, sőt sokszor éppen ők tették lehetővé az akkori előrelépést. Azt kéri, hogy a kutatói közösség ne vesse el ezeket a munkákat, amint megjelennek.
Sutton új tanulási módszerekre vonatkozó felhívása és Tworek vak transzformer-skálázást bíráló álláspontja egy növekvő startup-hullámban is megjelenik. A Frontier Radar #5 jelentésünkben 45 új AI-laborra figyeltünk fel, amelyek pontosan ezekre a hiányosságokra építenek. Tworek maga a Core Automation nevű laborban dolgozik, amely a pretraining és a megerősítéses tanulás túlmutató tanulóalgoritmusait keresi. Ezeket az alapítókat, köztük Suttont az Oak Lab-nál, az köti össze, hogy hisznek sokkal képesebb AI-ban, de kétlik, hogy a mai recept önmagában elég lesz hozzá.
Vannak, akik továbbra is a nyelvi modellekre tesznek
Az iparági vezetők ezt egészen másképp látják. Sam Altman, az OpenAI vezérigazgatója szerint a nagy nyelvi modellek skálázása messze nincs kimerülve, és az LLM-kritikusokat azzal vádolja, hogy túl magabiztosak abban, mit nem lehet skálázással elérni, ezzel lassítva az egész kutatói nemzedéket. Példaként egy OpenAI-modellt hoz fel, amely nemrégiben cáfolt meg egy matematikai sejtést, amelyen a matematikusok régóta hiába törték a fejüket. Altman hasznosnak tartja a világmodelleket, például a robotikában, de szerinte az adatok egyértelműen a nyelvi modellek további skálázása mellett szólnak.
Dario Amodei, az Anthropic vezérigazgatója hasonlóan érvel, és a skálázásban rejlő fejlődést egy végtelen szivárványhoz hasonlítja. Mivel mindkét AI-cég vezetőjének teljes technikai megközelítése erre a fogadásra épül, Amodei és Altman nyilvánvalóan elfogultak ebben a kérdésben.