A RAG helyett hat olcsóbb alternatívát javasolnak a kutatók
Angela Shi és Kezhan Shi szerint a pontos egyezés, a helyesírás-javítás vagy a kulcsszó-keresés alkalmazása nemcsak gyorsabb, hanem átláthatóbb is, mivel ezek a módszerek milliszekundumok alatt adnak választ, és megnevezik a működésük mögött álló szabályt.
Hat olcsóbb módszer áll rendelkezésre a RAG-hez (Retrieval-Augmented Generation) képest a dokumentumintelligencia területén. Ezek közé tartozik a pontos egyezés, a helyesírás-javítás, a kulcsszó-keresés és a beágyazások használata. A legtöbb kérelem ezekkel a technikákkal milliszekundumok alatt megoldható, és minden módszer meg tudja nevezni a konkrét szabályt, amely alapján működött. Ez a mérnöki megközelítés azt jelenti, hogy ismerni kell a teljes eszköztárat, és a feladat megoldásához a legalacsonyabb szintű, de még hatékony módszert kell választani.
A cikk szerzői, Angela Shi és Kezhan Shi, a Towards Data Science platformon keresztül mutatják be ezeket a módszereket, kiemelve, hogy a mérnöki munka lényege a megfelelő eszköz kiválasztása a feladathoz. A RAG-hez vagy nagy nyelvi modellekhez való ugrás a leglassabb, legdrágább és legkevésbé magyarázható megoldás, míg a klasszikusabb NLP-technikák gyorsabbak, olcsóbbak és átláthatóbbak.
A dokumentumfeldolgozás lépcsőfokai
A cikk részletezi, hogy a különböző dokumentumfeldolgozási feladatokhoz más-más technika lehet optimális. Ilyen feladatok közé tartozik egy kérés osztályozása, szabad szöveg egy referencialistához való hozzárendelése, táblázatok olvasása, OCR-hibák kezelése, vagy éppen egy modell futtatása helyi gépen, ha a dokumentumok nem hagyhatják el a rendszert. A sorozat célja, hogy bemutassa a „létrát”, azaz a különböző módszereket a legegyszerűbbtől a legbonyolultabbig.
A RAG alternatívái és előnyei
Bár a RAG hatékony lehet, a szerzők rámutatnak, hogy nem mindig ez a legoptimálisabb vagy leggazdaságosabb megoldás. A hat olcsóbb módszer — mint például a pontos egyezés vagy a kulcsszó-keresés — képes lehet milliszekundumok alatt válaszolni a legtöbb kérdésre, és ezek a módszerek könnyen magyarázhatóak. Ez különösen fontos olyan esetekben, ahol a válaszok megbízhatóságát és azonosíthatóságát kell biztosítani, például a banki vagy jogi dokumentumok feldolgozásakor.
Gyakorlati megfontolások és mérőszámok
A cikk hangsúlyozza a gyakorlati megvalósítás fontosságát. A szerzők saját gépeiken futtatott tesztekre alapozzák az eredményeket, nem pedig a szolgáltatók által közölt, gyakran idealizált számokra. Kiemelik, hogy a különböző módszerek teljesítményét kérdés-típusonként kell mérni, nem pedig egyetlen összesített százalékos eredménnyel. Ez a megközelítés segít azonosítani az egyes technikák erősségeit és gyengeségeit, lehetővé téve a mérnökök számára a legmegfelelőbb eszköz kiválasztását.
A kutatás Angela Shi és Kezhan Shi munkája a Towards Data Science platformon, amely a dokumentumintelligencia területén a RAG alternatíváit vizsgálja.