Közel 75%-át írja már az AI a Google kódjának, de a gyorsulás elmarad

A magát fejlesztő AI (self-improving AI) még messze van a gyakorlati megvalósítástól, annak ellenére, hogy a kutatási automatizálásban jelentős előrelépések történtek — állítja Haydn Belfield, a Google mérnöke. (The Decoder)

Az AI már a produktív kód több mint 75%-át írja, azonban a kódváltoztatások 88%-a továbbra is emberi felügyeletet vagy felülvizsgálatot igényel, és minden változtatást emberi jóváhagyás előz meg a beküldés előtt — mondta Belfield. A teljes mértékben AI-ra bízott kódváltoztatások aránya 7,5%-ról 11,9%-ra nőtt.

Automatizációs korlátok és emberfüggőség

Minél összetettebb és időigényesebb egy feladat, annál kevésbé valószínű, hogy az AI képes önállóan megbirkózni vele. Az 1389 belső Argon ügynöki futtatás során a sikerarány emberi beavatkozás nélkül élesen csökkent az összetettség növekedésével.

Az emberi kutatók továbbra is elengedhetetlenek a kreatív kutatásban, az új kísérletek tervezésében, a finomhangolási instabilitások diagnosztizálásában és a hosszú távú tervezésben — emelte ki Belfield. Tizenkét vezető DeepMind kutató felmérése is megerősítette ezt a mintázatot: az automatizáció a jól definiált, ellenőrizhető feladatoknál a legmagasabb, míg a nyitott tudományos ötletelésnél a legalacsonyabb.

Benchmark-eredmények és képességindex

A DeepMind saját RE-Bench benchmarkján, amely 74 valósághű ML-mérnöki feladatot tartalmaz, az Argon nagyjából a felüket oldja meg. Ez jelentős ugrás a Gemini 3.7 Flash 27%-os eredményéhez képest, de még így is messze van a teljes automatizációhoz szükséges közel tökéletes teljesítménytől. A Google saját képességindexe (General Capability Index, GCI) nem mutat gyorsulást az AI-kutatásban.

A 123 modellt és 92 teljesítménytesztet lefedő index szerint a Gemini képességei havi körülbelül 0,1 GCI-ponttal növekednek, statisztikailag szignifikáns sebességváltozás nélkül. A csapat szerint a Gemini 4 Argon trendvonal feletti teljesítménye több számítási kapacitásnak és szervezeti befektetésnek köszönhető, nem pedig AI-vezérelt gyorsulásnak.

A csapat jelenleg alacsonynak értékeli az AI-vezérelt kutatási automatizálás kockázatát, de építi a mérési infrastruktúrát a gyorsulás jeleinek nyomon követésére. Belfield megállapításai összhangban vannak a közelmúltbeli kutatásokkal, de nem mindenki ért egyet a területen. Több mint 20 AI-kutató, köztük Geoffrey Hinton, Yoshua Bengio és az OpenAI Jakub Pachockija nemrég egy kutatási papírban „intelligencia-robbanásra” figyelmeztetett.

Arra hivatkoztak, hogy az AI-rendszerek néhány éven belül képesek lehetnek az összes AI-kutatás és -fejlesztés automatizálására, ami az évekig tartó fejlődést hónapokra sűrítheti. A Google DeepMindnél nem mérhető gyorsulás az AI-kutatásban, annak ellenére, hogy a kód 75%-át már AI írja — közölte Haydn Belfield.