Az AutoGPT új módszerrel kezeli az AI-generált kódokat – emberi felügyelet nélkül

A legtöbb karbantartó reakciója az, hogy bezárja az ajtót, és kikapcsolja a pull requesteket, hogy elkerülje az AI-generált „szemetek” átnézését. Tindle szerint azonban ebben lehetőség is rejlik: az AI-fejlesztők lényegében fizetik a projekt számítási kapacitását. Ha egy közreműködő tokeneket akar költeni a projekt fejlesztésére, engedni kell neki, de csak a projekt számára elfogadható módon. (GitHub Blog)

A dokumentáció helye és az ügynökök viselkedése

Az AutoGPT kezdetben jobb közreműködői irányelveket és dokumentációt próbált bevezetni, beleértve egy egész wiki oldalt is, de ezek nem hoztak változást. Kiderült, hogy az AI-eszközök nem olvassák el a dokumentációt, hacsak nem irányítják őket erre. Az ügynökök csak a közvetlen munkakönyvtárukban lévő dolgokat olvassák el, és nem keresnek dokumentációt, hacsak nem kapnak erre kifejezett utasítást.

Ezért az AutoGPT elkezdte az utasításokat oda helyezni, ahol az ügynökök keresnek. Először CLAUDE.md fájlokat használtak, mert a Claude által generált pull requestekből hiányzott a repozitórium-specifikus kontextus. Később központosították az AGENTS.md fájlt, és a Claude fájlokat erre mutatták. Az AGENTS.md fájl könyvtár-specifikus, és a „skill”-ek, amelyek leírásokkal rendelkeznek, megmondják az ügynöknek, mikor kell betölteni őket a feladatok egyezése alapján.

Automatizált ellenőrzések és emberi kapuk

Az AutoGPT szigorúan érvényesíti a pull request sablont: a sablonnak nem megfelelő PR-eket automatikusan, tétovázás nélkül zárják le. Ezt a szabályt az ügynökök viselkedése is követte, még mielőtt az automatizálás futni kezdett volna. Az emberi közreműködőket, akik eltérnek a sablontó, megengedőbben kezelik, mivel az eltérés jelzi, hogy valószínűleg emberről van szó.

A sablon megköveteli egy tesztterv beillesztését, amelynek szövegezése véletlenül megemlíti a pull request tesztelését. Ez a kifejezés elindít egy „test PR” nevű skill-t, amely telepíti az ügynök által vezérelt böngészőt, elindítja az alkalmazást, és futtatja a teszteket. Az ügynökök így a feladat részeként írnak teszteket, és ritkán kapnak hibás pull requesteket.

A backend 80%-os kódlefedettséget ír elő a pull request megnyitása előtt. A Codecov lefedettségi küszöbértékei kötelező ellenőrzések. Az ügynök megnyitja a pull requestet, majd néhány perc múlva visszanéz, látja, hogy nem lehet egyesíteni, betölti a tesztelési skill-t, és megírja a teszteket. Ez a folyamat automatikusan történik, anélkül, hogy bárki kérné.

Az AutoGPT a CLA-t (Contributor License Agreement) is emberazonosítóként használja. A CLA aláírása böngészőt és GitHub OAuth folyamatot igényel egy külön domainen. Az ügynökök ma még rosszul teljesítenek ebben, és ha egy CLA nem kerül aláírásra egy héten belül, a pull requestet bezárják. Ez a kapu azért működik, mert visszahelyezi az embert a folyamatba.

A hibás AGENTS.md fájl rosszabb, mint a hiánya. Az AutoGPT kezdetben mindenhol elszórta ezeket, ami szennyezte a kontextust és elvonta az ügynök figyelmét. A GraphQL API használata sebességkorlátozással járhat, ezért egy GitHub App létrehozása és azon keresztüli hitelesítés javasolt. A tesztelési eszközök költségesek, ezért az AutoGPT csak nagyon kicsi vagy nagyon nagy pull requestekre futtatja őket. A felülvizsgált jogosultságok ellenőrzése is fontos, mivel minden kipróbált, de elvetett eszköz jogosultságot hagyhat hátra.