Bristoli kutatók gyógyszer-engedélyezési szabványok alapján javítanák az orvosi AI megbízhatóságát
Az University of Bristol kutatói a gyógyszerek engedélyezési folyamatát mintázták meg egy új keretrendszerhez, amely az orvosi AI-k megbízhatóságát hivatott javítani.
Az orvosi mesterségesintelligencia-rendszerek gyakran jól teljesítenek a kezdeti teszteken, de a klinikán kudarcot vallanak, mert a képzési adatokból olyan irreleváns mintákat tanulnak meg, amelyeknek semmi közük a valós diagnózishoz. A Bristol Egyetem kutatói egy új keretrendszert javasolnak, amely ezt a problémát hivatott orvosolni. (The Decoder)
A Learning Ensemble három pillére
A „Learning Ensemble” névre keresztelt megközelítés három területet vizsgál: a rendszer működési korlátait és képzési adatait, a megbízhatóságát minden betegcsoportban, valamint a mindennapi klinikai használatra való alkalmasságát. A kutatók a gyógyszerek piacra dobásakor alkalmazott szabványokból merítettek ihletet, amelyek strukturált információcsomagot biztosítanak a szerek dózisáról, időzítéséről és a betegcsoportokról.
Az első terület a rendszer korlátait vizsgálja, beleértve azt, hogy mely orvosoknak vagy klinikáknak szánják, milyen hardveren fut, és milyen betegadatok képezték. Egy 2021-es tanulmány szerint egy COVID-fertőzést felismerni hivatott AI-rendszer a tüdő jelzései helyett a röntgenfelvételek véletlenszerű részleteire támaszkodott, amelyek korreláltak a diagnózissal. Amint a rendszert egy másik klinikán bevetették, kudarcot vallott.
Elérhetőség és klinikai illeszkedés
A második terület a betegcsoportok közötti megbízhatóság. Egy átlagos találati arány nem elegendő, mert egy rendszer összességében jónak tűnhet, miközben bizonyos csoportoknál rendszeresen hibázik. Egy másik 2021-es kutatás kimutatta, hogy az AI-rendszerek sokkal kisebb valószínűséggel észlelték a betegséget az alulszolgáltatott népesség körében. Ilyen rendszerek bevezetése éppen azokat a betegeket károsítaná, akik eleve rosszabb ellátásban részesülnek.
A harmadik, a kutatók szerint legfontosabb terület a rendszer illeszkedése a tervezett klinikai célhoz. Egy technikailag működőképes rendszer is haszontalan lehet a klinikán. Egy AI például a tüdőgyulladással küzdő asztmás betegeket alacsony halálozási kockázatúnak értékelte, mert a képzési adatokban ők gyakrabban élték túl, de csak azért, mert a sürgősségi osztályok különösen agresszívan kezelték őket. A triázs szempontjából ez az eredmény értéktelen volt.
A Bristol Egyetem kutatói a „Learning Ensemble” keretrendszert a fejlesztők számára közös nyelvet és struktúrát biztosító kiindulópontként definiálják.