A kutatók 80%-kal javították a nagy nyelvi modellek teljesítményét

Kweku Yamoah és csapata 8 277 tanulmány címét és összefoglalóját elemezve finomhangolt egy 1,2 milliárd paraméteres nyílt forráskódú nyelvi modellt, és az eredmények 80,79 %-kal jobb F1-pontszámot hoztak, mint az alapmodell. (ArXiv NLP)

A finomhangolás során a modell speciálisan a szisztematikus áttekintések szűrésére lett beállítva, ami a hagyományos, emberi alapon végzett szűréssel összehasonlítva jelentősen csökkenti a munkaidőt és a hibalehetőséget.

Az új modell 86,40 %-os megegyezést mutatott az emberi kódolóval, 91,18 %-os valós pozitív arányt és 86,38 %-s valós negatív arányt, valamint tökéletes egyezést több futtatás során.

A kutatók hangsúlyozták, hogy a finomhangolás nem csupán a prompt módosítása, hanem a kontextus gazdagítása a modell számára, ami kulcsfontosságú a cím-összefoglaló szűrésben.

Jelenleg a kutatás befejeződött, de a következő lépés a modell széleskörű alkalmazása különböző tudományos területeken, amelyet a csapat 2026 végére tervez tesztelni.