Felesleges kódot mér az új AI-teljesítményteszt

A jelenlegi AI-kódgenerálási teljesítménytesztek nem büntetik a feleslegesen hozzáadott kódot, ami hosszú távon megnehezíti a kódbázis kezelését. A Parsimony nevű új mérőeszköz ezt a problémát orvosolja, és a hozzáadott kód mennyiségét vizsgálja. (Hacker News)

A Parsimony a meglévő teljesítménytesztek által publikált kódrészleteket (patch) vizsgálja, és nem sorokat, hanem szintaxiselemeket, úgynevezett kódoló egységeket számol. Ezek közé tartoznak utasítások, hívások, összehasonlítások, nevek és literálok. A módszer lényege, hogy a hozzáadott kód mennyiségéből levonja az eltávolított kódot, így megkapva a nettó hozzáadott egységeket. Az eredményeket egy rangsorban teszik közzé.

A modelleket az általuk megoldott feladatokon mért nettó hozzáadott egységek átlaga alapján rangsorolják, a legkevesebbel kezdve. Fontos megjegyezni, hogy a „nettó hozzáadott egység (átlag)” a sikertelen próbálkozásokat is tartalmazza. A megoldási arány az SWE-bench által publikált eredményeken alapul, a teszteket nem futtatják újra. A rangsor nem veszi figyelembe az AI Index nevű külső pontszámot, amely a modell és az ésszerűsítési erőfeszítés alapján kerül meghatározásra.

A Parsimony szerint a GPT-5.6 modell a saját publikált futtatásához képest 0,88-szor annyi kódot adott hozzá. A teljesítményteszt szerzője megjegyzi, hogy a több kódot író modellek általában több feladatot is megoldanak, ezt 0,33–0,60 közötti Spearman-korrelációval támasztja alá. Ugyanakkor a kisebb kódmennyiség nem mindig jobb, mivel az egységek a méretet, nem pedig az olvashatóságot vagy a dizájnt mérik.

A mérési korlátok közé tartozik, hogy csak Python kódokat vizsgálnak, és a teszteket nem futtatják újra. A fejlesztők a GitHubon elérhető nyílt forráskódú teljesítménytesztet saját kódméretes adatokkal is bővíthetik, hogy összehasonlítsák a saját eredményeiket.