Új RAG-rendszert tervez Miodrag Cekikj, amely nem felejt el semmit
Miodrag Cekikj új, gyártó-neutral tervet mutat be egy perzisztens tudásréteghez, amely képes felhalmozni a megértést, szemben a hagyományos RAG-rendszerekkel, amelyek minden lekérdezés után eldobnak minden információt.
A hagyományos Retrieval-Augmented Generation (RAG) rendszerek képesek válaszolni a dokumentumokban tárolt információkra, de minden egyes lekérdezés után elfelejtik a feldolgozott érvelést. Ez azt jelenti, hogy minden új kérdésre ugyanazt a munkát kell elvégezniük, nulláról indulva, jelentős költséggel és bizonytalan eredménnyel. (Towards Data Science)
Miodrag Cekikj, aki korábban a RAG-alapú rendszerek felépítését vizsgálta, most egy új megközelítést javasol: egy perzisztens tudásréteg bevezetését. Ez a réteg nem csupán a válaszokat tárolná (mint a szemantikus gyorsítótár), hanem magát a megértést halmozná fel, így a rendszer folyamatosan fejlődne és javítaná domain-modelljét.
Az architektúra és a hiányzó elem
Cekikj szerint a probléma nem magában a lekérdezésben rejlik, hanem az architektúrában. A standard RAG rendszerekben nincs helye a megértés felhalmozódásának. A különböző gyorsítótárazási vagy chunking stratégiák csak a keresést optimalizálják, de nem adnak memóriát a rendszernek. Az új terv célja éppen ez a hiányzó elem pótlása.
gyártó-neutral dizájn és Azure implementáció
A cikk egy gyártó-neutral tervet mutat be, amely független az Azure-tól vagy bármely specifikus adatbázis- vagy modell-szolgáltatótól. Az architektúra rétegekből, objektummodellből és a hibamódusokból áll, amelyeket a rendszernek túl kell élnie. A tervet egy teljes Azure-native implementáció is kiegészíti, amely Microsoft Foundry, Azure AI Search, Cosmos DB és FastAPI komponenseket használja, és készen áll a telepítésre.
Bemutató a biztosítási szektorban
A koncepciót egy szimulált biztosítási korpuszon, az Ostermere Mutual nevű virtuális biztosítón keresztül demonstrálják. A huszonegy összekapcsolt dokumentumot tartalmazó adathalmaz segítségével bemutatják, hogyan képes a rendszer valódi megértést felhalmozni, ami túlmutat a hagyományos RAG-rendszerek képességein. A bemutató három részből áll: az architektúra tervezése, az Azure implementáció részletei, és a gyakorlati demonstráció.