Kevesebb mint a feladatok felét oldja meg a jelenlegi orvosi AI
Az orvosi AI-k a vizsgákon szinte tökéletes eredményt érnek el, de a valós klinikai feladatok kevesebb mint felét tudják elvégezni. A GPT-4 válaszaiban 35%-ban hibázik – derül ki a Stanford kutatásából.
A nagy nyelvi modellek (LLM) már szinte hibátlanul teljesítenek az orvosi licencvizsgákon, ami lelkesedést váltott ki az AI egészségügyi potenciálja iránt. A valóság azonban ennél jóval árnyaltabb: egy feleletválasztós teszt megugrása és egy egészségügyi rendszerben való munka merőben eltérő feladat. A klinikai hasznosság megítéléséhez a valós feladatokon kell értékelni az AI-t. (Stanford HAI)
Ezt a különbséget szem előtt tartva a Stanford kutatói három éven át dolgoztak új, egyre összetettebb és realisztikusabb teljesítménytesztek kidolgozásán. Kezdetben a MedHELM projekt keretében térképezték fel a klinikai feladatok teljes skáláját, majd a PhysicianBench és a HealthAdminBench segítségével mérték az AI-ügynökök end-to-end teljesítményét valós elektronikus egészségügyi nyilvántartási (EHR) környezetben.
A teljesítménytesztek egységes képet festenek: a jelenlegi legjobb AI-ügynökök kevesebb mint a feladatok felét képesek elvégezni. Az ügynökök elveszítik a nyomon követett információkat az időbeli, dokumentumok közötti és rendszereken átívelő feladatok során. A kutatás részletesen bemutatja a tesztek felépítését, az eredményeket, és kitér arra, mi szükséges a szakadék áthidalásához.
MedHELM: A teljes munkafolyamat felmérése
A MedHELM projekt 2023-ban indult, ahol 15 orvos 983 kérdést fogalmazott meg, amelyeket egy páciens kórtörténetében feltennének. Az akkori legjobb modell, a GPT-4, válaszadásainak 35%-ában hibázott, ami a MedHELM 2024 eleji létrehozását ösztönözte.
A MedHELM célja egy feladatalapú értékelés volt. 29 orvos bevonásával egy ötkategóriás, 22 alkategóriából és 121 feladatból álló taxonómiát hoztak létre, amely az orvosi ellátásban gyakran végzett munkát tükrözi. A kategóriák magukban foglalták a klinikai döntéstámogatást, a klinikai jegyzetek generálását, a betegkommunikációt és -oktatást, az orvosi kutatási asszisztenciát, valamint az adminisztrációt és munkafolyamatokat.
37 teljesítményteszt adatkészletet állítottak össze, és kilenc modell teljesítményét értékelték. Az LLM-zsűri pontozott a klinikusok által meghatározott kritériumok alapján. A „win rate”, azaz a modellek egymáshoz viszonyított győzelmi aránya 0 és 1 között mozog. Az eredmények szerint a legjobb modellek is legfeljebb 0.85-ös win rate-et értek el a klinikai jegyzetgenerálásban, míg az adminisztráció és munkafolyamatok kategóriában ez az érték 0.53-ra csökkent.
A modellek következetesen gyengén teljesítettek a klinikai döntéstámogatás és az adminisztrációs feladatok terén, éppen azokon a területeken, ahol az egészségügyi rendszerek a legtöbb segítséget várnák a klinikusok időmegtakarítása és az adminisztratív költségek csökkentése érdekében. Az Egyesült Államokban az adminisztratív kiadások meghaladják az évi 1 billió dollárt.
A feladatok mint munkafolyamatok
A MedHELM teljesítménytesztek az egyes válaszokat értékelik. A valós feladatok azonban ritkán ilyen egyszerűek. Egy előzetes engedélyezési folyamat jó példa erre: az orvosnak le kell kérnie a dokumentumokat, ellenőriznie kell a biztosító kritériumait, kitöltenie egy űrlapot, feltöltenie fájlokat, majd rögzítenie az adatokat. Ezen fontos kategóriák értékeléséhez másfajta megközelítésre van szükség. A kutatók ezért hozták létre a PhysicianBench-et és a HealthAdminBench-et, amelyek egy ügynöknek környezetet, célt és eszközöket adnak, majd ellenőrzik a változásokat.
A PhysicianBench 300, orvosok által kidolgozott, páciens-specifikus feladatot vizsgált. A legjobb modellek is csak 670 ellenőrzésből átlagosan 46%-ot teljesítettek egyetlen kísérletre. A GPT-5.5 mindhárom futtatása során csak 28%-ban hajtotta végre helyesen a feladatokat. A hibák felét a klinikai érvelés hiányosságai magyarázzák. Érdekes módon az akcióvégrehajtási hibák 62%-ában az ügynök ugyan helyes tervet írt le, de sosem adta be a rendelést az EHR-be.
A HealthAdminBench az egészségügyi rendszer adminisztratív terheit célozza, mint a számlázás és az engedélyezés. A becslések szerint az adminisztratív személyzet száma már meghaladhatja a klinikusokét 10:1 arányban. A Stanfordon végzett megfigyelések szerint az adminisztratív feladatok elvégzése több mint 100 órát vesz igénybe.