AI-ügynökcsapatok drágák, de alig jobbak az egyedül dolgozóknál, kutatás
Az AI-ügynökcsapatok akár 5,1-szer több tokent használnak fel, mint az egyedi ügynökök, miközben csak elhanyagolható mértékben javítják az eredményeket — derül ki a Vals AI kutatásából.
A Vals AI kutatása a GPT-6 Sol és a Claude Opus 5.5 modelleket vizsgálta a „Vibe Code Bench” teljesítményteszten, egyedi és csapat felállásban is, közepes és maximális számítási erőfeszítés mellett. (The Decoder)
A csapatok futtatása 1,8-szor és 5,1-szer több tokent emésztett fel, mint az egyedi ügynökök esetében. Négy összehasonlításból csupán egyetlen esetben mutattak ki statisztikailag szignifikáns javulást: GPT-6 Sol esetében közepes számítási erőfeszítésnél, ahol a csapat 7,3 ponttal teljesített jobban. Maximális erőfeszítésnél sem az egyedi, sem a csapat felállás nem adott előnyt egyik modellnek sem.
Több ügynök, kevesebb haszon
Az Anthropic saját tesztjei is alátámasztják ezt: Opus 5.5 modelljük esetében minél több ügynököt használtak, annál kisebbek lettek a minőségbeli nyereségek. Tíz ügynökről százra skálázva a teljesítmény csak kis mértékben nőtt, miközben a tokenfelhasználás tovább emelkedett. A „ProgramBench” tesztekben sebességnövekedés járt együtt a magasabb tokenhasználattal.
A sebesség nem minőség
Noam Brown, az OpenAI kutatója megerősítette, hogy a többügynökös rendszerek elsősorban a sebességet növelik, nem a minőséget. Négy ügynök kétszer gyorsabban oldott meg feladatokat, de kétszer annyiba is került. Tizenhat ügynöknél a minta hasonló volt, de csökkent a hatékonyság. Eric Provencher, az OpenAI fejlesztője szerint ez a „koordinációs sarc” miatt van, ami pazarlóvá teszi a nagy ügynökrajokat. A kutatás szerint a több tízezer ügynök használata nem hoz mérhető előnyt, miközben a költségek az egekbe szöknek.