Stanford nyílt forráskódú memóriamodulja 16 tokenbe tömöríti a dokumentumokat

A Stanford kutatói nyílt forráskódúra adták a Memorilla nevű memóriarendszert, amely egy teljes dokumentumgyűjteményt mindössze 16 memóriatokenbe tömörít egy fagyasztott nyelvi modell számára. A kódot, a tanítási receptet és a checkpointokat Apache 2.0 licenc alatt tették közzé — írja a MarkTechPost.

A modell a munkát a Jure Leskovec vezette SNAP-csoport végezte, társszerzőkkel a torontói, a pennsylvaniai és az MIT-ről. A kiindulópont egyszerű: a fagyasztott nyelvi modell csak azt használhatja, ami a kontextusablakában van. A teljes kontextusú kérdezés a dokumentumok számával együtt lassul, a visszakeresés (retrieval) pedig a kérdéshez leghasonlóbb részleteket másolja be, és gyengébb nyomokat könnyen kihagy. A Memorilla harmadik utat jár: a teljes tárolóból tanulja meg, mire van szükség az adott kérdéshez.

A rendszer három lépésben dolgozik. Először egy fagyasztott Qwen3-Embedding-4B minden dokumentumot egyszer beágyaz, az új dokumentumok nem kényszerítik újra a régiek kódolását. Kérdésenként 16 tanult memóriahely figyel a kérdésre és a teljes tárra, két keresztfigyelő rétegen és nyolc fejen át. Végül ezeket a helyeket a Qwen3-8B bemeneti beágyazási terébe vetítik, és a kérdés elé illesztik. Csak a memóriamodul tanul, 194 123 776 paraméterrel; a teljes recept nagyjából 19 órát vesz igénybe 4 H100 GPU-n.

A FactKG-n a fagyasztott Qwen3-8B 84,33%-ot ért el a Memorilla-val, szemben a 80,43%-kal, amit az összes dokumentum kontextusban tartva kapott, és 108-szor kevesebb dokumentumtokennel dolgozott. A nyolc teljesítményteszt átlagában a 49,68-as eredmény a legmagasabb a közölt értékek között. Ezek az eredmények azonban a kutatócsoport saját mérései; független reprodukcióról a forrás nem számol be.

Gyengébben szerepel a PubMedQA-n, ahol 59,00%-ot ért el, a LLMLingua-2 69,00%-os eredménye mellett. A szerzők szerint ennek oka, hogy az absztraktok mindössze 324 tokenből állnak, így a tömörítésnek itt alig van mit nyernie. A PersonalizationV4-en és a NarrativeQA-n a MemoRAG enyhén jobb, utóbbin 20,51 a 19,31 ROUGE-L pontszám ellen.

Sebességben a különbség nagy: 512 dokumentumnál egy H100-on a Memorilla 0,74 másodperc alatt válaszol, a teljes kontextus viszont 19,9 másodpercig tart. A memóriamodul maga körülbelül 2 milliszekundumot vesz igénybe, a 27-szeres gyorsulás pedig ebben a konfigurációban mért érték. A checkpointok és a futtatáshoz szükséges Python-környezet a GitHubon és a Hugging Face-en érhetők el; a gyors indításhoz legalább egy 80 GB-os GPU kell.