Klinikai kérdésekre válaszol az UIC-AIHealth4All, 3. hely a bizonyítékazonosításban

Az UIC-AIHealth4All csapatának rendszere harmadik helyezést ért el a bizonyítékazonosításban az ArchEHR-QA 2026 versenyen, amely az elektronikus egészségügyi adatokból történő kérdés-válaszolásra fókuszál. A kutatók egy új, „answer-first” folyamat-t dolgoztak ki, amely először generál válaszjelölteket, megjelölve a hozzájuk tartozó mondatokat, mielőtt a teljes bizonyítékhalmazt osztályozná. Ez a megközelítés kihasználja a relevanciabírálatban rejlő aszimmetriát, különösen az absztrakt értékelés és az adott válaszhoz viszonyított relatív értékelés között. (ArXiv NLP)

A csapat a 2. (bizonyítékazonosítás), 3. (válaszadás) és 4. (válasz-bizonyíték illesztés) alfeladatokban indult. A bizonyítékazonosításban a 62,90-es Strict Micro F1-pontszámmal a harmadik helyet szerezték meg. A válaszadásban a 9. helyen végeztek 31,90-es Overall pontszámmal, míg a válasz-bizonyíték illesztésben az 5. helyet érték el 79,81-es F1-pontszámmal.

Az answer-first folyamat működése

Az answer-first folyamat lényege, hogy a modell először megpróbálja megválaszolni a kérdést, és ehhez keresi meg a legrelevánsabb mondatokat az egészségügyi dokumentumokban. Ez eltér a hagyományos megközelítésektől, ahol először az összes releváns bizonyítékot próbálják azonosítani, majd ezek alapján generálni a választ. Az UIC-AIHealth4All módszere arra épít, hogy egy konkrét válaszhoz könnyebb releváns mondatokat találni, mint általánosságban az összes lehetséges bizonyítékot.

Olvashatósági problémák a klinikai NLP-ben

Egy utólagos elemzés kimutatta, hogy a modell által generált válaszok átlagosan 3,2 Flesch-Kincaid olvasási fokkal nehezebben olvashatók, mint a klinikusok által írt referenciatartalmak, annak ellenére, hogy a szavak és mondatok száma hasonló. Ez arra utal, hogy a klinikai NLP rendszerekben az olvashatóságot külön optimalizálni kellene, hogy a generált információk könnyebben érthetők legyenek az orvosok és más egészségügyi szakemberek számára.

Kód és utasítások elérhetősége

A kutatók a teljes kódot és a használt promptokat nyilvánosan elérhetővé tették egy GitHub repozitóriumban. Ez lehetővé teszi más kutatók és fejlesztők számára, hogy megismerjék és továbbfejlesszék a rendszert, hozzájárulva a klinikai kérdés-válaszolási technológiák fejlődéséhez. A publikáció az arXiv előnyomtatott szerverén jelent meg.