Az AI-kódoló agentek a feladatok háromnegyedénél még emberi utómunkát igényelnek

Az Alibaba és több ázsiai egyetem kutatói új teljesítménytesztet fejlesztettek kódoló-agentek értékelésére. A Co-Design Bench meglévő webalkalmazások átalakítását várja el az agentektől a felhasználói kérések alapján, a bemenet pedig néha kép, hangfelvétel, videó vagy dokumentum is lehet. A tanulmány szerint a tíz tesztelt modell közül a GPT-6 Astra a legjobb, de átlagosan is csak a követelmények körülbelül 70 százalékát teljesíti. (The Decoder)

A szerzők szerint a régi tesztek már telítődtek. Ha a modellek futtathatják, ellenőrizhetik és javíthatják a saját kódjukat, a meglévő benchmarkokon 99 százalék feletti eredményeket érnek el, így a modellek közötti különbségek alig mérhetők. A WebCompass-edit teszten a kódoló-agentek szinte tökéletes pontszámot kapnak, míg a Co-Design Bench több mint 35 százalékpontos rést hagy.

Valós kérések, szigorú értékelés

Az új teszt valós kódolási munkamenetek kéréseire épül. A kutatók előnyben részesítették azokat az eseteket, ahol a felhasználónak többször át kellett fogalmaznia a kérését, vagy vissza kellett vonnia a változtatásokat. A feladatok apró módosítástól, például egy nyugtáról kiolvasott összeg átvezetésétől az egész projekt átalakításáig terjednek.

Az értékelés szigorú. Egy AI-bíró böngészőben teszteli a kész alkalmazást, egy második pedig újraellenőrzi a pozitív ítéleteket, és keresi a látszatmegoldásokat vagy a beégetett eredményeket. Pontot csak az a funkció kap, amely az alkalmazásban ténylegesen működik.

Egy feladatban több változtatás már a modellek ellen dolgozik

A GPT-6 Astra mögött a Claude Opus 5 és a Qwen3.8-Max következik, a Grok 4.6 az utolsó helyen áll. A nagyobb átalakításoknál a jóval kisebb Qwen3.8-27B a második helyre kerül, de a szerzők ebből nem vonnak le általános előnyt a modell számára.

Minden modell gyengébben teljesít, ha egy feladat három-négy különböző típusú változtatást követel meg, például elrendezést, dizájnt, interakciót és tartalmat egyszerre. Ez a valós projektekben tipikus helyzet. A többlet számítási kapacitás sem old meg sokat: a GLM-5.2 a kisebb változtatásoknál közel hatszor annyi tokent használ, mint a GPT-6 Astra, mégis lényegesen gyengébb eredményt ér el. A GPT-6 Astra mindkét kategóriában vezet, de a multimodális feladatok mindössze 41, a repository-feladatok alig 18 százalékát oldja meg teljesen.

A környezet ugyanúgy számít, mint a modell

Külön tesztben a kutatók ugyanazokat a modelleket különböző harness-környezetekben futtatták, vagyis azokban a programokban, amelyekben az agent kódot olvas, ír és futtat. A Qwen3.8-27B a nagyobb átalakításoknál a környezettől függően 75, illetve 56 százalékot ért el. Az is változott, melyik modell végzett előrébb. A szerzők ezért azt javasolják, hogy mindig a modellt és a munkakörnyezetet együtt jelentsék. A kódoló-agentet választó cégeknek ezért a két elemet párosban érdemes tesztelniük.

A benchmarknak vannak korlátai. Feladatonként egy rögzített kérést értékel, a felhasználók utókérdései vagy a feladat közbeni korrekciói nem részei a tesztnek. Az AI-bírák is tévedhetnek.

Az METR kutatóintézet egy korábbi vizsgálata már megmutatta, mennyire eltérhet a teljesítményteszt-eredmény a valós használhatóságtól: a projektvezetők által ténylegesen elfogadott AI-kód aránya nagyjából 24 százalékponttal maradt el a széles körben használt SWE-bench Verified pontszámaitól. A tesztkörnyezet hibái is lehetővé tehetik, hogy az agentek anélkül teljesítsenek feladatokat, hogy ténylegesen megoldanák azokat.

A munkakörnyezet hatása azonban nem egyértelmű. Egy újabb tanulmány szerint a kidolgozottabb harness-ek alig mérhető előnyt hoztak, miközben akár háromszor annyi tokent emésztettek fel. A kutatók a GPT-6 Astra 26,4 százalékos teljesen hibátlan aránya mellett is ezt tartják a legfontosabb üzenetnek.