Bayes-módszerekkel mérhető az AI-döntések bizonytalansága

A legtöbb éles AI-rendszer pontbecsléseket ad, ami elrejtheti a lehetséges kimenetelek teljes eloszlását és a döntésekhez kapcsolódó kockázatokat. Egy 8 százalékos növekedési előrejelzés pontosnak tűnhet, miközben a valóságban csökkenés vagy ennél nagyobb emelkedés is lehetséges. Ha egy jóslat automatizált cselekvést vált ki, a rejtett bizonytalanság működési kockázattá válik. (Towards Data Science)

Az NIST AI Risk Management Framework szerint az AI-kockázatokat kontextuálisnak kell tekinteni, és azokat az életciklus során mérni kell. Egy elemző számára megjelenített ajánlásnak kevés hatása lehet, de ha a közvetlenül befolyásolja az árakat, a készleteket vagy a marketingköltéseket, akkor nagy hatása lehet. A pontosság önmagában nem elég, a fennmaradó bizonytalanságnak alacsonynak kell lennie ahhoz, hogy a rendszer felelősségteljesen hajthassa végre a javasolt cselekvést.

A pontbecslések nem mutatják meg a valós kockázatokat. Egy marketingkampány költségvetésének napi kiigazítására használt modell például 7 százalékos konverziós növekedést becsülhet egy költségnövelés esetén. A pontbecslés alapján egyértelműnek tűnő döntés, a költségvetés emelése, kockázatos lehet, ha a modell szerint van esély jelentős veszteségre is, még akkor is, ha az átlagos előrejelzés pozitív marad.

Bayes-modellek: Más kérdésfeltevés

A Bayes-modellek a bizonytalanságot valószínűségi eloszlásokon keresztül mérik, nem csupán egyetlen becsült értéken keresztül. A posterior prediktív eloszlás leírja a modell által ténylegesen várt értékek tartományát. Ez lehetővé teszi a rendszerek számára, hogy eldöntsék, mikor cselekedhetnek önállóan, mikor van szükség emberi felügyeletre, és mikor kell eltekinteniük a cselekvéstől.

Aleatorikus és episztemikus bizonytalanság

A bizonytalanság két fő típusa az aleatorikus és az episztemikus. Az aleatorikus a folyamatban lévő ingadozást jelenti, mint például az ügyfélviselkedés fluktuációja. Az episztemikus a modell ismereteinek korlátaiból fakad, például egy új ügyfél szegmens vagy egy új piac esetében. Bár a két típus nem mindig választható szét élesen, hasznos a megkülönböztetésük a következő lépések meghatározásához.

A megbízhatóság nem automatikus garancia. Sok AI-rendszer kimeneteleként konfidencia-pontszámokat ad, de ezek nem feltétlenül kalibrált valószínűségek. Egy Bayes-modell sem feltétlenül biztonságos; a posterior eloszlás függ az előzetes feltételezésektől, a modell struktúrájától és az adatoktól.

A valódi biztonsági korlát a bizonytalanság becslésén, a kalibráció és a modell minőségének ellenőrzésén alapul, valamint azon, hogy a szervezet meghatározza, milyen mértékű bizonytalanságnál milyen cselekvések megengedettek. Az NIST keretrendszere szerint a kockázatokat kontextuálisan kell mérni, ami azt jelenti, hogy egy ajánlás kockázata eltérő lehet attól függően, hogy hogyan használják fel — írja Mahe Jabeen Abdul.