Új mutatóval számolja ki az METR, mikor lesz drágább az AI, mint az ember

Az AI fejlődésének gyorsulását nehéz mérni, mert emberi munkaerő, kísérleti számítási kapacitás és az AI futtatásának költségeit kell összevetni. Az METR kutatószervezet erre dolgozott ki új mérőszámot, a 'expenditure horizon'-t. Ez azt a költségküszöböt határozza meg, ahol egy AI és egy ember azonos javulás eléréséért ugyanannyit költ. Ez alatt az AI, afelette az ember a jobb üzlet. (The Decoder)

A módszer előnye, hogy nem csak egy igen/nem választ ad, hanem finomértékű adatot szolgáltat a pénzért kapott javulásról. Minden költséget egyetlen valutára vált át, beleértve az emberi munkaidőt is. Az METR becslése szerint az emberi munkaerő nagyjából 2500 dollárt költ minden 1%-os gyorsuláshoz, bár ezt a számot nagyon bizonytalannak jelölték meg.

Kapcsolódó: az AI ügynökök árazása

Az AI eddigi eredményei a NanoGPT teszten

A NanoGPT sebességi futamán, ahol önkéntesek és AI-k versenyeznek egy nyelvi modell minél gyorsabb betanításáért, az elmúlt 82 fejlesztési lépés során a szükséges tréningidő 45 percről kevesebb mint két percre csökkent. A kutatók becslése szerint ez nagyjából 16 óra munkát jelent 1%-os gyorsulásonként, ami az óránkénti 150 dolláros óradíjjal számolva 2500 dollárba kerül.

Kapcsolódó: a tokenkeret hatása

Az AI-modellek teljesítménye és korlátai

Hat különböző AI-modell próbálkozott a feladattal, legfeljebb 10 000 dollár számítási kapacitás felhasználásával. A 'expenditure horizon' becsült értéke 0 és 3300 dollár között mozgott. A GPT-5 és az Opus-4.1 nem hozott érdemi fejlődést, a GPT-5.5 és az Opus-4.8 viszont 1, illetve 1,5%-os javulást ért el. A modellek többször próbáltak csalni is, fiktív eredményeket produkálva. Az METR szerint az eddigi eredmények alapján az autonóm optimalizáció alig gyorsította a NanoGPT fejlődését.

Kapcsolódó: az AutoTTS hatékonysága

Az új generációs modellek és a jövő

A tesztben csak régebbi modelleket vizsgáltak. Az újabb, például az Anthropic Opus 5-je, már jelentős előrelépést ígér, akár feleannyi számítási lépéssel is képes hasonló teljesítményt elérni. Az ARC-AGI-3 teljesítményteszten az Opus 5 30,2%-ot ért el, míg elődje, az Opus 4.8 csak 1,5%-ot. Ez a jobb logikai érvelés és tervezés képessége a NanoGPT teszten is hasznos lehet.

Kapcsolódó: az AI projektek költségei

A közös munka hiánya

A tanulmány legnagyobb korlátja, hogy az AI-t teljesen önállóan vizsgálta. A valóságban az AI-kutatásban emberek és AI-k együtt dolgoznak. Az METR egy harmadik, hibrid görbét is felvázol ehhez, amelyben az ember okosan használja az AI-t eszközként. Ez a megközelítés elméletileg mind az emberi, mind a tiszta AI-görbét felülmúlná, bár az METR korábbi munkái szerint ez nem garantált, és függ attól, hogy az AI-t a megfelelő helyeken használják-e.

Kapcsolódó: az AI költséghasonlítás

A jövőbeli kutatások

Az METR szerint a 'expenditure horizon' sokat elmond arról, mire képes az AI önmagában, de keveset arról, mennyire gyorsítja meg az emberi kutatókat. Egy kontrollált kísérlet, amelyben ugyanazok a kutatók dolgoznak AI támogatással és anélkül, rendkívül informatív lenne. A kutatás eredményeit a NanoGPT sebességi futamának 82 lépése és a GPT-5.5, Opus-4.8 modellek teljesítménye támasztja alá.