ÉlőUtoljára: 1 perceMa: 4
Modellek & LLMfrissítve: 00:16

Az OpenAI kutatói többre becsülik az AI-agenteket, mint kollégáik fele

Az OpenAI belső felmérése szerint a medián kutató a kódolóagentek nélkül inkább a csapat 40 százalékát adná fel, mint három hónapig dolgozna nélkülük.

Az OpenAI kutatói többre becsülik az AI-agenteket, mint kollégáik fele
Fotó: Mimi Thian / Unsplash
forrás: The Decoder·AI Forradalom szerk.·
Megosztás

Az OpenAI belső kutatói egyre nagyobb mértékben támaszkodnak a Codex és a Dots nevű eszközeire. A cég második, a kutatási folyamatok gyorsulásáról szóló jelentése szerint októberben a medián kutató napi elméleti tokenfogyasztása API-listaáron számolva 2400 dollár volt, ami egy hónap alatt 62 százalékos növekedést jelent. A legaktívabb tíz százalékban ez az érték napi 23 000 dollárra emelkedett – írja a The Decoder.

A cég számítása szerint szeptemberben az agentek futtatásának elméleti API-értéke a kutatók rendes bérköltségének kétszerese volt. Ebből a számításból azonban kimaradnak a részvénycsomagok, amelyek az OpenAI teljes juttatásának 70–80 százalékát teszik ki. A belső agenthasználat a teljes kutatási számítási kapacitásnak mindössze 2 százalékát vette igénybe.

Egyszerű feladatokban jól teljesítenek, a komplex mérnöki munkában gyengék

Az OpenAI becslése szerint az emberi beavatkozás nélkül dolgozó agentek sikerességi aránya márciustól októberig a két–négy órás feladatoknál 23 százalékról 46 százalékra nőtt, a négy–nyolc órásaknál pedig 13 százalékról 35 százalékra.

Az Epoch AI-féle feladatbesorolás szerint azonban az agentek főként egyszerű munkát végeznek: a tanítási futások felügyeletét 79 százalékban, a technikai kérdések önálló megválaszolását 72 százalékban oldják meg, az értékelő- és megerősítéses tanulási környezetek építésénél viszont csak 29 százalékos, az inferencia- és kiszolgálókódnál pedig 25 százalékos az arány.

A 101 munkatársat megkérdező, nem reprezentatív belső felmérésben a kutatók mediánja a csapat 40 százalékának, illetve a számítási kapacitás 30 százalékának feladását mondta volna inkább, minthogy három hónapig kódolóagentek nélkül kelljen dolgozniuk. Egy külön, 28 fős gyorskérdőívben 27-en a legújabb belső modellt részesítették előnyben egy középszintű emberi mérnökkel szemben.

A kutatási ízlés hiánya miatt szoros emberi felügyelet kell

Tíz kutatóval készített minőségi interjúk feltárták az intenzív használat árnyoldalait. Az interjúalanyok szerint a modelleknek nincs érzékük a jó kutatási ötletekhez, valamint a kód- és adatminőséghez. Az agentek felesleges lépésekbe bonyolódnak, hibás feltevésekkel dolgoznak az elemzésekben, és gyenge minőségű, „AI-salakanyag” kódmódosításokat, valamint használhatatlan adatfájlokat küldenek be. A kiszámítatlan számítási ciklusok elkerülése érdekében a szoros emberi felügyelet elengedhetetlen.

A GPT-6 Astra és a GPT-6.2 Astra kulcsfontosságú fogalmi ötletei a megkérdezett csapatok szerint kizárólag az utóképzés és a biztonsági területen dolgozó emberektől származtak. Csak a GPT-6.2 Astra előtanítási fázisában mondták azt egyes kutatók, hogy a Codexszel folytatott párbeszédből származtak fontos felismerések.

Az OpenAI következtetésében figyelmeztet, hogy az eddig gyűjtött, emberi és AI-együttműködésre vonatkozó adatok nem feltétlenül extrapolálhatók lineárisan. A cég a közelmúltbeli, gyors matematikai áttöréseket említi, és lehetségesnek tartja, hogy hasonlóan hirtelen fejlődés jöhet a mélytanulási kutatásban is, ahogy a modellek nagyobb önállóságot kapnak.

A cég ezeket az eredményeket saját maga közölte, ezért ezek még nem függetlenül ellenőrzöttek. A jelentésben szereplő 2400 dolláros napi tokenfogyasztás és a 101 munkatárssal készült felmérés a legfontosabb konkrét adat, amelyre a cég következtetései épülnek.

Forrás

Feldolgozott sajtóforrás·The Decoder

Eredeti cikk megnyitása →

Ez a cikk a fenti sajtóforrás alapján készült AI-összefoglalóval.

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

☕ Támogatom