Hatodára csökkenti az LLM-költségeket egy új, háromlépcsős RAG-architektúra

A legtöbb csapat, amely magas tétű klasszifikációra épít RAG-rendszereket, minden kétértelmű esetet egyenesen a nyelvi modellhez (LLM) irányít. Ez a megközelítés azonban nem állja meg a helyét auditok, szabályozók vagy megfelelési tisztek előtt, amikor hat hónappal később is meg kell indokolni egy-egy döntést. A szabályozott vállalati környezetben a téves válasz költsége nem csupán egy rossz chatbot-válasz. A döntésnek hosszú ideig ellen kell állnia az ellenőrzésnek. (VentureBeat)

A mindenre kiterjedő LLM-használat rejtett költségei három területen jelentkeznek: auditálhatóság, költség és modell-drift. Az LLM-ek kiválóak az árnyalt megítélésben, de következetlenek lehetnek azokban az esetekben, amelyeknek determinisztikus válasza lenne. A szabály alapú logika nem skálázódik úgy, mint az LLM-hívások, amelyek késleltetést és magasabb költségeket okoznak.

A kaszkád architektúra: az LLM mint végső megoldás

A megoldás az, hogy az LLM-et ne az első vonalként, hanem végső eszközként kezeljük. Ez egy háromlépcsős folyamatot jelent. Az első szakasz determinisztikus: az egyértelmű szabályok, strukturált mezők és pontos illesztések itt megoldódnak, modellhívás nélkül. Ez a lépcső az esetek többségét, akár több mint felét is képes lehet feloldani, minden döntés teljes mértékben magyarázható.

A második szakaszban a visszakeresés (retrieval) kap szerepet. Azok az esetek, amelyek nem oldódtak meg az első lépcsőben, egy visszakereső réteghez kerülnek, amely az adott kétértelműséghez releváns bizonyítékokat gyűjti össze. Ez lehet korábbi hasonló esetek döntése, ellentmondásokat magyarázó dokumentumok vagy éppen egy peremfeltételt tisztázó precedens. A visszakeresés minősége kritikusabb, mint a generálásé.

A harmadik szakasz az LLM-hívás, amely csak a maradékot kezeli. Egy korábbi projektben, ahol az esetek csupán 10–15%-át irányították az LLM-hez, az inferecia költsége nagyjából 6-szorosára csökkent az összes esetet LLM-hez küldő alapvonalhoz képest, miközben a determinisztikus többség következetessége gyakorlatilag tökéletessé vált.

Aszimmetrikus kockázatú utasítások

Az LLM-hez érkező eseteknél a semleges utasítások helyett aszimmetrikus kockázatú promptokat kell használni. A téves negatívumok (amikor valami figyelmet érdemlőt nem vesznek észre) sokkal nagyobb kárt okozhatnak, mint a téves pozitívumok (amikor valami indokolatlanul kerül flagelésre). Az utasításnak explicit módon kell kommunikálnia a modell felé ezt a kockázati különbséget, és a bizonytalanságot az escaláció okaként kell kezelnie.

A megbízhatóság méréséhez a visszakeresés minőségét külön kell értékelni a végső klasszifikációs pontosságtól. Az értékelési készletet felül kell mintavételezni a harmadik szakaszba kerülő esetekkel, mivel ott tesztelődik a rendszer igazi ítélőképessége. Egy visszajelzési hurok is létfontosságú: a megváltoztatott döntéseknek be kell kerülniük a visszakereshető kontextusba.

A legképzettebb modellhez való nyúlás ösztöne érthető, de ahol a téves válaszoknak valós következményei vannak, ott értékesebb mérnöki munka eldönteni, mi ne kerüljön a modell elé. A kaszkád architektúra nem megkerülés, hanem egy érett RAG-rendszer megjelenése. A kérdés nem az, hogyan kezelje jól a modell a feladatot, hanem az, mely részei ne is legyenek a modell feladatai. Vineet Vijay, a CleoPtolemy vezető AI és gépi tanulási mérnöke írta.