Többlépcsős kérdésekre is válaszol a tömörített promptokat használó IterCOMP

Az IterCOMP egy új, képzés nélküli módszer, amely iteratív tömörítési hurokban integrálja a többlépcsős érvelést. A kutatók szerint a módszer lebontja a dokumentumokat bizonyíték-szegmensekre, értékeli a kérdés megválaszolhatóságát, és célzott utókérdéseket generál a lényeges információk integrálásához. Ez egy tömör, érvelésorientált utasítást eredményez. (ArXiv NLP)

Működési elv és dokumentumfeldolgozás

Az IterCOMP lényege, hogy a hosszú kontextusokat kisebb, relevánsabb részekre bontja. Ez a megközelítés különösen hasznos lehet a nagy nyelvi modellek (LLM) számára, amelyeknek korlátozott a kontextusablakuk, és a túl sok információ feldolgozása pontatlanságokhoz vezethet. A módszer a lényeges bizonyítékok kiválasztásához és a válaszok generálásához szükséges információkat sűríti össze.

Teljesítmény és pontosság

A MusiQue, 2WikiMultiHopQA és HotpotQA adathalmazokon végzett kísérletek azt mutatják, hogy az IterCOMP „jelentős javulást” ér el az Exact Match és az F1 pontszámokban, miközben csökkenti a tokenigényt. A módszer „felülmúlja a meglévő alapvonalakat” és „robosztusnak mutatkozik az érvelési komplexitás növekedése mellett” — írja az arXiv-en megjelent tanulmány.