Partha Sarkar szerint a TypeSafe Jev modell gyorsítja a GraphRAG rendszerek keresését
A TypeSafe Jev modell a GraphRAG rendszerekben a determinisztikus mikro-döntéseket gyorsítja, elkerülve a hagyományos LLM-ek okozta késleltetést. Egy 3-ugrásos lekérdezésnél 2 500 csomópontból mindössze 15 releváns elemet választ ki a rendszer.
A GraphRAG a Retrieval-Augmented Generation kiterjesztése, amely a tudásgráfok csomópontjait és éleit felhasználva több lépéses okos keresést tesz lehetővé, ezáltal a hagyományos vektoralapú megoldásoknál mélyebb összefüggéseket tár fel — írta a Towards Data Science.
A mikro-döntési szűk keresztmetszet
Vállalati környezetben a tudásgráfok mérete gyakran eléri a millió csomópontot és élt, ami a determinisztikus mikro-döntések százezres mennyiségét eredményezi. A cikk példája szerint egy 3-ugrásos lekérdezés 2 500 csomópontot hoz vissza, melyből csak 15 releváns elemre van szükség a felhasználói kérdés megválaszolásához.
Miért nem elegendő a hagyományos LLM
A gyakorlatban a mérnökök általában általános célú, autoregresszív LLM-eket, például gpt-t vagy claude-t használnak a mikro-döntésekhez. Ez jelentős késleltetést és költséget okoz, mert a modellek szöveges kimenetet generálnak, miközben a feladat determinisztikus JSON vagy Cypher lekérdezés formájában kell, hogy megjelenjen. A folyamat tovább bonyolódik a szigorú prompt-engineering, a hőmérséklet-hangolás és a törékeny regex-parszolás miatt.
A System 1-es AI koncepciója szerint a gyors, gyakori mikro-döntéseknek kevés számítási erőforrásra van szüksége, ezért egy kalibrált döntési modell képes ezeket alacsony késleltetéssel elvégezni. A szerző kiemeli, hogy a kalibrált döntési modellek lehetővé teszik, hogy az LLM-ek a mélyebb ok-következtetésre és szöveggenerálásra koncentráljanak, míg a determinisztikus feladatok a System 1-es motorra hárulnak — írta a Towards Data Science.
A TypeSafe Jev egy nem-autoregresszív, kalibrált döntési modell, amely három alapvető primitívvel dolgozik: Noul (kalibrált bináris valószínűség), Choice (kategóriális eloszlás) és Score (ordinális értékelés). Ezekkel a primitívekkel a GraphRAG folyamat-ban a mikro-döntéseket egyetlen kérésben, párhuzamosan, sub-500 ms válaszidővel és alacsonyabb költséggel lehet elvégezni, miközben a korábban említett prompt-engineering és JSON/Cypher-parszolás szükségessége megszűnik — írta a Towards Data Science.
A szerző megjegyzi, hogy bár a kalibrált döntési modellek hatékonyságát még nem támasztották alá független teljesítménytesztek, a leírt megközelítés már most ígéretes megoldást kínál a nagy-méretű tudásgráfok skálázható kezelésére. A Jev modell sub-500 ms válaszidővel működik, így a GraphRAG rendszerekben a mikro-döntéseket gyorsan, alacsony költséggel kezelheti a vállalat.