Többlépcsős kérdésekre is válaszol a tömörített promptokat használó IterCOMP
A MusiQue, 2WikiMultiHopQA és HotpotQA adathalmazokon végzett tesztek szerint az IterCOMP jelentős javulást ér el az Exact Match és F1 pontszámokban. A képzés nélküli módszer iteratív tömörítési hurokban integrálja a többlépcsős érvelést, így kevesebb tokenigénnyel működik.
Az IterCOMP egy új, képzés nélküli módszer, amely iteratív tömörítési hurokban integrálja a többlépcsős érvelést. A kutatók szerint a módszer lebontja a dokumentumokat bizonyíték-szegmensekre, értékeli a kérdés megválaszolhatóságát, és célzott utókérdéseket generál a lényeges információk integrálásához. Ez egy tömör, érvelésorientált utasítást eredményez. (ArXiv NLP)
Működési elv és dokumentumfeldolgozás
Az IterCOMP lényege, hogy a hosszú kontextusokat kisebb, relevánsabb részekre bontja. Ez a megközelítés különösen hasznos lehet a nagy nyelvi modellek (LLM) számára, amelyeknek korlátozott a kontextusablakuk, és a túl sok információ feldolgozása pontatlanságokhoz vezethet. A módszer a lényeges bizonyítékok kiválasztásához és a válaszok generálásához szükséges információkat sűríti össze.
Teljesítmény és pontosság
A MusiQue, 2WikiMultiHopQA és HotpotQA adathalmazokon végzett kísérletek azt mutatják, hogy az IterCOMP „jelentős javulást” ér el az Exact Match és az F1 pontszámokban, miközben csökkenti a tokenigényt. A módszer „felülmúlja a meglévő alapvonalakat” és „robosztusnak mutatkozik az érvelési komplexitás növekedése mellett” — írja az arXiv-en megjelent tanulmány.