ÉlőUtoljára: 1 perceMa: 28
Hogyan működik?frissítve: 22:16

Így ellenőrzik az AI-ügynökeket az Anthropic Claude Code csapatánál

Az Anthropic Claude Code csapatának kódjának nagyjából 90 százalékát Claude írja és ellenőrzi, a vállalat szerint pedig a tesztekkel ellenőrzött munka teszi lehetővé, hogy egyszerre tucatnyi vagy több száz agent dolgozzon.

Így ellenőrzik az AI-ügynökeket az Anthropic Claude Code csapatánál
Fotó: Mohammad Rahmani / Unsplash
forrás: Hacker News·AI Forradalom szerk.·
Megosztás

Az Anthropic Claude Code csapatánál a kód nagyjából 90 százalékát Claude írja és nézi át — írja Addy Osmani a cég blogján. Ilyen méretben az a kérdés válik kulcsfontosságúvá, hogyan tudják az agentek bizonyítékkal igazolni a saját munkájukat. (Hacker News)

A szerző szerint az ellenőrzési hurkok teszik lehetővé, hogy több munkát adjanak Claude-nak. Ellenőrzés nélkül egyszerre csak egy-két Claude futtatható, mert mindent kézzel kell átnézni; ezzel viszont tucatnyi vagy több száz példány dolgozhat párhuzamosan.

A cég belső tesztjei szerint egy külön értékelő, amely rubrika alapján ellenőrzi Claude munkáját, legfeljebb 10 ponttal javította a feladatok sikerességét a szokásos promptolási körhöz képest — a legnagyobb javulás a legnehezebb feladatoknál volt. Ezek az eredmények azonban nem publikáltak, a cikk csak röviden írja le őket.

Három teszttípus, amelybe érdemes befektetni

A szerző szerint a tesztek instabilitása és lassúsága egyaránt gond: az instabil teszt arra tanítja az agentet, hogy újrafuttassa a tesztet ahelyett, hogy kijavítaná a hibát, a lassú teszt pedig kevesebb ellenőrzést enged kötegenként.

A legértékesebb az úgynevezett E2E-teszt, amely valódi felhasználói folyamatokat — például kosárba tételt és fizetést — futtat végig. Ezeket nehéz megtéveszteni, és konkrétan megmutatják, mi romlott el. Az ilyen tesztek mellett a tulajdonságalapú és a differenciális tesztek is szerepet kapnak: az előbbi szélsőséges bemenetekkel próbálja megdönteni az állításokat, az utóbbi pedig a régi és az új rendszer kimenetét veti össze.

Hogyan működik ez a gyakorlatban

Az Anthropic belső gyakorlata szerint Claude a változtatás előtt lefuttatja az alkalmazást, és a hibákat maga próbálja javítani. Ha egy ellenőrzés három kör után is hibázik, a rendszer emberi figyelmet kér. A kódot birtokló mérnökök maguk írják a saját ellenőrzéseiket.

A csapat egy 39 pontos megbízhatósági ellenőrzőlistát is vezet, amelynek tételei a diffből felismerhető kiváltó feltételekhez kötődnek. Az írás szerint ez a módszer azért fontos, mert az agentek munkájának minőségét nem lehet mindenki által átolvasni, ezért a bizonyítékra épülő ellenőrzés válik a fő szűrővé. A csapat 39 pontos listája a legkonkrétabb eszköz, amelyet a cikk említ.

Háttér: mit tud a Claude díjmentes verziója

Forrás

Feldolgozott sajtóforrás·Hacker News

Eredeti cikk megnyitása →

Ez a cikk a fenti sajtóforrás alapján készült AI-összefoglalóval.

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

☕ Támogatom