A Cisco optimalizálja az LLM-folyamat-okat új FAPO nevű AI-rendszerével

A Cisco AI új, FAPO (Fully Automated Prompt Optimization) nevű keretrendszerével igyekszik megkönnyíteni a megbízható LLM-alkalmazások fejlesztését. A rendszer automatikusan optimalizálja a több lépésből álló LLM-folyamat-okat, a kiinduló promptoktól a célpontosságig. A fejlesztőknek egy adatkészletet és egy kezdeti utasítást kell megadniuk, a FAPO pedig értékeli, osztályozza a hibákat, variánsokat javasol, validálja azokat, majd iterál. A teljes folyamatot Claude Code ügynökök vezérlik. A projektet nyílt forráskódként, Apache 2.0 licenc alatt tették elérhetővé, és támogatja a Codex optimalizáló ügynököt is — írja a MarkTechPost.

A Cisco saját értékelése szerint a FAPO 18 modell-teljesítményteszt összehasonlításból 15-ben felülmúlta a GEPA nevű, élvonalbeli prompt-optimalizálót. Azokon a benchmarkokon, ahol a FAPO a folyamat-struktúra módosításáig eljutott, a GEPA-hoz képest átlagosan +33,8 százalékpontos növekedést ért el. A rendszer három, egymásra épülő szinten dolgozik: először a promptokat, majd a paramétereket, végül a lánc struktúráját módosítja, lépésenkénti hibakövetés alapján döntve a következő lépésről.

Kapcsolódó: GitHub Copilot CLI

Hogyan működik a FAPO?

A FAPO egy több bérlős kiértékelő és optimalizáló keretrendszer, ahol minden bérlő egy önálló optimalizálási projektet jelent. A rendszer domain-agnóztikus, és támogatja az OpenAI, Baseten és SageMaker szolgáltatókat. A fejlesztőknek egy adatkészletet kell biztosítaniuk, amely párosított bemeneteket és elvárt kimeneteket tartalmaz, ezek határozzák meg a sikert. A FAPO ezt az adatkészletet felosztja validációs és teszt halmazokra. A validációs halmaz hajtja az iterációt, míg a teszt halmazt csak egy végső kiértékelésre használják.

Kapcsolódó: AWS Resilience Hub

Az optimalizálási folyamat

A FAPO zárt ciklusban fut, amíg el nem éri a célpontosságot. Minden ciklus hat szakaszból áll: kiértékelés, hibák gyökérokának osztályozása (szabályalapú heuristikák és LLM-elemzés alapján), variánsok javaslása, a javaslatok független felülvizsgálata, elfogadás (ha javul az előző legjobb eredményhez képest), és iteráció. A rendszer négyféle hibát különböztet meg: lekérdezési (retrieval) hibák, kaszkádolt hibák, formátumhibák és következtetési (reasoning) hibák. A formátum- és következtetési hibák prompt-szinten, míg a lekérdezési és kaszkádolt hibák strukturális szinten orvosolhatók.

Kapcsolódó: COMPASS rendszer

teljesítményteszt eredmények a GEPA ellen

A Cisco csapata a FAPO-t a GEPA-val hasonlította össze, amely egy élvonalbeli prompt-optimalizálási módszer. A tesztek során a FAPO 15-ből 18 modell-teljesítményteszt összehasonlításban győzött, átlagosan +14,1 százalékpontos növekedést mutatva a GEPA-hoz képest. Azokon a benchmarkokon, ahol a FAPO strukturális változtatásokat is eszközölt (HoVer és IFBench), mind a hat összehasonlítást megnyerte, +33,8 százalékpontos átlagos nyereséggel. A GEPA csak az AIME teljesítményteszten vezetett, 3,1 százalékponttal.

Kapcsolódó: GCPO modelltanítás

Elérhetőség és licenc

A FAPO nyílt forráskódú, Apache 2.0 licenc alatt érhető el. Támogatja az OpenAI, Baseten és SageMaker platformokat. A rendszer védelmi mechanizmusokat is tartalmaz a túltanulás (overfitting) ellen, beleértve a csak tréning-adatokra történő ellenőrzést és az ajánlatok független felülvizsgálatát. A Cisco AI blogja szerint a FAPO a következő hónapokban válik szélesebb körben elérhetővé.

Kapcsolódó: MRC protokoll