A hibrid determinisztikus-LLM megközelítés 99%-os pontosságot ér el az információkivonásban

A kutatás három, 12–14 milliárd paraméteres LLM-et használta: Gemma 3, Phi 4 és Qwen 2.5, melyeket helyi CPU-kon futtattak Ollama segítségével, GPU nélkül. Az LLM-csak, a determinisztikus regex + LLM hibrid, és a Camelot-alapú folyamat LLM fallback stratégiáit vizsgálták. (ArXiv NLP)

Az elsőkét 140 KRS dokumentumra tesztelték, a Camelot-alapú megoldást 860 dokumentumon. A dokumentumok négy tanulmányi programra szólnak, változatos táblázatokkal és metaadatokkal.

Az értékeléshez pontos egyezés (EM) és Levenshtein-szerűség (LS) metrikákat alkalmaztak, 0,7-es küszöb mellett. A hibrid megközelítés a determinisztikus metaadatoknál hatékonyságot növel, míg a Camelot + LLM fallback kombinációja elérte a 0,99–1,00 pontosságot, mind EM, mind LS szempontból.

A legjobb eredményt a Camelot folyamat hozta, amely a legmagasabb pontosságot és a legkevesebb számítási erőforrást igényelte. A kutatás kimutatta, hogy a hibrid stratégia jelentősen javítja az információkivonás hatékonyságát LLM-csak megoldáshoz képest.