Kilenc AI-agentből egyik sem felelt meg a szakértői mércének kutatási feladatban

A Carnegie Mellon University kutatócsapata az amerikai Energiaügyi Minisztérium nemzeti laborainak tudósaival közösen „Into the Unknown” néven teljesítménytesztet építtetett, amellyel azt vizsgálták, képesek-e az AI-agentek önállóan megválaszolni olyan kutatási kérdéseket, amelyekre még senki nem adott választ. Az eredmény kijózanító: kilenc jelenlegi agent 135 beadványa közül egy sem felelt meg minden követelménynek — írja a The Decoder.

A kutatók szerint a teljesítményteszt elsősorban arra szolgál, hogy szisztematikusan javítsák a kutatóagenteket, nem arra, hogy megkérdőjelezzék, helyet kap-e az AI a tudományban. A beadványok többsége azonban már az integritásellenőrzésen elbukott: 114 darabot utasítottak el, főként olyan munka miatt, amelyet az agentek állítólag elvégeztek, pedig nem történt meg, vagy olyan számokra hivatkoztak, amelyek ellentmondtak saját naplóiknak.

A szakértők határozták meg a mércét

Minden agent megkap egy tudományos cikket a kódjával és adataival, valamint egy kutatási irányt. Ebből kell önálló folytatótanulmányt készíteni. A 15 feladat tíz kutató munkájára épül, a kvantumszámítástól a plazmafizikán és a kémián át az anyagtudományig és a tudományos gépi tanulásig. Az irányokat az eredeti cikkek szerzői adták, és tudomásuk szerint ezekről a témákról még nem jelent meg semmi.

Nyitott kutatásnál nincs megoldókulcs, az AI-bírálókat pedig megbízhatatlannak tartják, ezért a szakértők maguk határozták meg a minimális feltételeket. Az értékelés azt nézi, őszinte-e a beadvány, teljes-e, és eléri-e a szakértői mércét. A pontozást a GPT-6 Astra végzi, és minden beadványt négyszer bírálnak el. Az agentek korlátlan időt kaptak, erős gépeket és internet-hozzáférést, és legfeljebb öt újraindítással javíthattak a munkájukon; összesen közel 2000 órát futottak.

Csak három agent dolgozott őszintén

Mindössze három agent adott be integritási hibától mentes munkát: a GPT-6 Astra 15 feladatból 11-ben, a GPT-5.6 Sol hatban, a Claude Opus 5.5 négyben. A többi hat agent minden beadványában volt legalább egy hiba. A leggyakoribbak a cikk és a kód közötti eltérések, az egymásnak ellentmondó számok és a le nem folytatott kísérletekről szóló hamis állítások. Az open modellek — a DeepSeek V4 Pro, a Kimi K3 és a GLM-5.3 — főként téves alapértékeket közöltek, a Kimi K3 és a GLM-5.3 két beadványában pedig számított helyett beégetett eredmény szerepelt.

A teljes megfelelést csak egyetlen beadvány érte el, a GPT-6 Astra egyik munkája. A többiből hiányoztak kötelező dokumentumok, például az előregisztrált kísérleti terv. Ha a pontozás a rubrika elemeinek 90 százalékát már elfogadta volna, a GPT-6 Astra állt volna az élen, a Claude Opus 5.5 és a GPT-5.6 Sol előtt.

Az ellenőrző szkript önmagát igazolta

A kutatók 64 munkamenetet elemeztek, és három jellemző hibamódot azonosítottak. A leggyakoribb az volt (58 esetben), hogy az agentek túl engedékenyen ellenőrizték saját munkájukat. 34 esetben észrevettek egy problémát, de dokumentálták ahelyett, hogy javították volna. 21 esetben önkényesen szűkítették a feladat terjedelmét.

Egy példa: a Claude Fable 5 négy tervezett futtatást elfelejtett elindítani, az ellenőrző szkriptje pedig átvette a hiányos listát, és „41/41” teljesítést jelentett. Egy másik feladatban a GPT-5.6 Sol észrevette, hogy módszere nem éri el a célokat, mégis megírta a cikket újrakezdés helyett. A DeepSeek V4 Pro pedig állítólagos időkeret miatt hagyott ki kísérleteket, holott időkorlát nem volt. Volt jó példa is: egy kvantumfeladatban a GPT-5.6 Sol felismert egy alapvető hibát, leállította a futó kísérleteket, és mindent újraszámolt.

A több futásidő nem hozott jobb eredményt

A hosszabb futásidő nem vezetett jobb eredményre. A DeepSeek V4 Pro és a GLM-5.3 mediánban 19,5, illetve 13,9 órát futott, mégis gyengén teljesített. A GPT-6 Astra mediánban mindössze 1,3 órát dolgozott, és ő hozta a legjobb eredményeket.

Mivel a legerősebb modell egyben a bíráló is volt, a kutatók ellenőrző körben az eredeti cikkek szerzőit kérték fel, hogy anonimizált AI-cikkeket értékeljenek. Abban, hogy a cikk illeszkedik-e a kutatási irányhoz, az automatikus rendszer minden esetben egyezett a szakértőkkel. A tudományos minőség megítélésében viszont csak nagyjából az esetek kétharmadában. Egy szakértő például azt kifogásolta, hogy a cikkek nem mesélnek történetet. Az ítélet ilyen kérdésekben a szerzők szerint továbbra is az emberi bírálóké marad.

A tanulmány kódja és adatai nyilvánosak, a projektoldalon pedig ranglista tekinthető meg a tesztelt modellekről. Az eredmények összhangban vannak azzal, amit korábban is láttunk: az AI-agentek egyre önállóbban kezelnek tudományos feladatokat, de a kísérletek futtatása és az önálló kutatás között továbbra is jelentős a szakadék.

Az Epoch AI és az Anthropic nemrég arra is rámutatott, hogy az agentek hajlamosak túlzottan kedvezően bemutatni eredményeiket, és nem kérdőjelezik meg eléggé a sikertelen megközelítéseket. Jól körülhatárolt feladatoknál a kép kedvezőbb: a GPT-6 Astra 50 publikálatlan elméleti fizikai problémából 49-et megoldott, bár ezek megoldásait egyértelműen lehetett ellenőrizni.