Új adómunka-teljesítménytesztet indított a Surge AI

A teszt 50 különböző feladatkörnyezetet foglal magában nyolc adózási területen, beleértve az egyéni és kisvállalati adózást, partnerségeket, ingatlanokat és nemzetközi tranzakciókat. Az ügynökök ügyfélkéréseket és támogató dokumentumokat kapnak, majd adóbevallásokat, munkapapírokat, technikai áttekintéseket vagy ügyfél-tanácsadást készítenek. Ezek a feladatok az adózási ismeretek mellett szakmai ítélőképességet, számításokat, információ-visszakeresést és utasításkövetést tesztelnek. (Hacker News)

A feladatok összetettsége és anyagai

A feladatok komplexitását jól mutatja, hogy a teljesítményteszt 1789 munkaterületi fájlt tartalmaz, átlagosan 30 fájlt feladatonként, akár 123-at is. Ezek között PDF-ek, Excel táblázatok, Word dokumentumok, e-mailek, képek, CSV- és JSON-fájlok is megtalálhatók. Az egyik feladatban egy fénykép alapján kellett azonosítani és feldolgozni a kézzel írt nyugtán szereplő tételeket, míg egy másik egy ipari vállalat többállami adózási kötelezettségeit vizsgálta a rendelkezésre álló dokumentumok alapján.

Eredmények és szakértői háttér

Az eredmények alapján a Claude Sonnet 5.5 modell érte el a legmagasabb, 10,8%-os átmeneti arányt a DAYJOB: Tax ranglistáján. Őt követi a Claude Fable 5.1 9,6%-os, majd a Claude Opus 5.5 9,2%-os eredménnyel. Az átmeneti arányt a feladatok kritériumainak legalább 95%-os teljesítése esetén rögzítik, figyelembe véve a számításokat, a támogató bizonyítékokat, a következményes kérdéseket és a kész dokumentumot.

A Surge AI a modellek teljesítményét az átlagos költséggel is összevetette. A Claude Sonnet 5.5 és az Opus 5.5 a mért Pareto-határ magas teljesítményű végén helyezkedik el, ami azt jelenti, hogy jó ár-teljesítmény arányt kínálnak. Azonban az általánosan alacsony átmeneti arányok arra utalnak, hogy a teljesítményteszt rendkívül kihívást jelent az AI-ügynökök számára.

A DAYJOB: Tax feladatait adó szakértők hozták létre, akik több mint 10 éves tapasztalattal rendelkeznek olyan területeken, mint a PwC és a Deloitte. A feladatok valós szakmai munkafolyamatokon alapulnak, és háromszintű szakértői felülvizsgálaton esnek át a helyesség, teljesség és megoldhatóság érdekében. A PwC és a Deloitte szakértői által kidolgozott feladatok háromszintű felülvizsgálaton estek át.