Önfejlesztő ügynökökkel 8,8-szer pontosabb modellt tréningez a GPT-6.1
A meta-ügynök öt generáció alatt fejleszti ki a tréninget irányító eljárásokat, és a Burgers-egyenletnél 8,8-szer kisebb átlagos L₂-hibát ér el a GPT-6.1-es modell.
Az RSI-Opt, egy új önfejlesztő optimalizáló ügynökrendszert mutatták be az arXivon közzétett tanulmányban — írja az arXiv.
Működési elv és archívum
A rendszer meta-ügynökök segítségével evolúciós módon finomítja a tréning beállításait: a korábbi futások tapasztalatait felhasználva újraírja a policy-t, és egy archívumban tárolja a kipróbált optimalizáló kódokat. A meta-ügynök nemcsak az utasítást, hanem a folyamatokat irányító eljárásokat és eszközöket is fejleszti tovább.
Eredmények és modellösszehasonlítás
A szerzők szerint az RSI-Opt jelentősen megnöveli az optimalizáló ügynök teljesítményét. Az evolúciós tesztsorozaton az Opus 5.5-ös modellel a nyers terek összefoglaló z-pontszáma +10,48-ról +14,33-ra emelkedett, míg a GPT-5.5-ös modellel a tartalék feladatok pontszáma –0,36-ról +3,11-re javult a cross-model policy transfer köszönhetően.
A Burgers-egyenletnél a rendszer a fix prompton alapuló ügynökhöz képest 2,7-szer kisebb átlagos L₂-hibát ért el az Opus 5.5-ös modellel, és 8,8-szer kisebbet a GPT-6.1-gyel. A tanulmány szerint a módszer hatékonysága azonban változik az LLM-ek és a feladatok között.
A kontrollált összehasonlítások azt mutatták, hogy az evolúciós policy újrahasználható optimalizációs tudást kombinál a feladatokhoz való alkalmazkodással: a kezdeti döntések a legtöbb nyereséget hozták a már ismert feladatokon, míg a folyamatos alkalmazkodás javította az eredményt az ismeretlen feladatokon. A GPT-6.1-es modell 8,8-szer kisebb átlagos L₂-hibát ért el a Burgers-egyenletnél.