Az AI-fejlődésben a mérnöki munka az új főszereplő – állítja Sutskever

Ilya Sutskever szerint a modern AI fejlődése három korszakra osztható: 2012 és 2020 között a „age of research”, 2020-tól 2025-ig a „skálázás korszaka” volt. Most visszatérünk a kutatáshoz, de „nagy számítógépekkel” – írja a TheSequence.

A Transformer dominanciája

A 2026-os csúcskategóriás modellek kiadási jegyzeteiben az architektúra diagramok ismerősek: a gépezetben továbbra is ott lapul a Transformer, gyakran Mixture-of-Experts (MoE) rendszeren keresztül. A fő fejlesztések máshol jelentkeznek: jobb adatok, hosszabb kontextusablakok, erősebb megerősítéses tanulás (reinforcement learning), szintetikus feladatok, eszközhasználat, memória, verifikáció, adaptív érvelési keretek és agent-orchestráció.

Mérnöki munka vs. alapvető kutatás

Ez nem egy új neurális faj érkezését jelzi, hanem inkább a Formula 1-hez hasonlít. Az autó továbbra is négy keréken fut, és van benne motor. Az óriási teljesítménynövekedés azonban a légellenállásból, az energia-visszanyerésből, a gumikémiából, a telemetriából, a szoftverből és a boxstratégiából adódik. A váz (chassis) számít, de a versenyfutást egyre inkább a körülötte lévő rendszer dönti el.

A kutatás kora visszatért, de ennek nagy része ma már ipari méretű mérnöki munkaként nyilvánul meg. „A skálázás nem ért véget. Megszökött” — írja a TheSequence.

A Transformer köré épülő rendszerek fejlesztése és optimalizálása jelenti a jelenlegi áttörések forrását. Az új architektúrák keresése helyett a hangsúly az adatok minőségén, a modell körüli ökoszisztémán és a hatékonyabb működtetésen van. Ez az ipari méretű mérnöki munka teszi lehetővé a további fejlődést.