A debugger helyett a véletlen számít a kódolóagentek összehasonlításánál

A kódolóagentek hagyományosan bash-eszközökre, tesztszkriptekre és print-utasításokra épülnek, a debugger használata ritka. Az arXiv-en közzétett kutatás pont erre a különbségre kérdezett rá: mit hoz hozzá a futtatható, interaktív debugger a bashalapú munkafolyamathoz képest.

A szerzők a debugger-only és a bash-only agentet hasonlították össze a teljes SWE-bench Verified teljesítményteszten, mind az 500 példányon. A többi scaffold elemet rögzítették, így az eszköz hatása elszigetelhető volt. Két modellt használtak, a GPT-OSS-120B-t és a Nemotron-3-Ultra-550B-t, architektúránként és modellenként három független futtatással.

Az eredmények értelmezése

Az egyes futtatáspárok eredményei valóban eltérnek: a két agent a teljesítményteszt különböző részhalmazait oldja meg. A kutatók azonban bevezettek egy új mérőszámot, a pass_X@k-t, amely annak valószínűségét becsli torzítatlanul, hogy k agent közül legalább az egyik sikeres. Ezzel kimutatták, hogy az eltérés nagyrészt futtatásonkénti szórásból fakad, nem az eszközök valódi kiegészítő erejéből.

Mindkét modellen ugyanez a mintázat

Mindkét modellen ugyanaz a mintázat jelent meg: két bash-futtatás jobban teljesített, mint egy bash és egy debugger kombinációja. A szerzők szerint az eredmény a sztochasztikus szórás figyelembevételének fontosságára hívja fel a figyelmet az agentek és eszközök összehasonlításánál. A vizsgálat 500 példányon, két modellen és egyetlen benchmarkon történt.