Az AI-előrejelzések veszélyesek lehetnek a kormányzati döntésekben

Egyre több kormány és vállalat támaszkodik gépi tanulásra a jövőbeli események előrejelzésében, például a bűnismétlés kockázatának becslésénél. Ezekre az előrejelzésekre épülnek a büntetéskiszabástól a hitelpontozásig terjedő, életet meghatározó döntések — írja a Rest of World.

Beth Simone Noveck „Reboot: AI and the Race to Save Democracy” című új könyvében arra figyelmeztet, hogy az AI növelheti a hatékonyságot, az előrejelző modellek ugyanakkor komoly etikai és társadalmi kockázatokat hordoznak.

Átláthatatlan algoritmusok

Szinte minden nagyobb vállalat használ már AI-t a munkaerő-felvételben, hogy megjósolja, ki fog beválni a munkahelyén. Ilyenkor az algoritmus jelöltek ezreit zárhatja ki úgy, hogy erre nincs jogorvoslati lehetőség. A Princeton Egyetem kutatója, Arvind Narayanan szerint komoly veszélyt rejt, ha az AI-t egy varázsgömbként használják: egy munkavállaló teljesítményét befolyásolhatja olyan személyes körülmény is, amelyről a modell semmit sem tud.

A mintázatfelismerés önmagában is kockázatos, hiszen a kategorizálás szükségszerűen leegyszerűsít. A kormányzati csalásfelderítő rendszerek például a jövedelem ingadozása alapján tévesen megjelölhetnek embereket: egy alkalmi munkából élő, megélhetési gondokkal küzdő egyedülálló szülő könnyen csalási kockázatnak tűnhet. Ahogy a rendszerek a mintázatfelismerésről az előrejelzésre térnek át, a diszkrimináció és a tévedés lehetősége jelentősen nő.

Miért bukhatnak meg az előrejelzések

Narayanan szerint öt alapvető módon omlanak össze ezek a rendszerek. Az első, hogy a pontos előrejelzés is rossz döntéshez vezethet, ha a modell nem veszi figyelembe a fontos összefüggéseket. A második, hogy az átláthatatlan rendszereket ki lehet játszani: az álláskeresők például láthatatlan kulcsszavakat helyezhetnek el az önéletrajzukban.

A harmadik, hogy az emberi felügyelet papíron létezik, a gyakorlatban viszont a szervezetek többnyire vakon követik az algoritmust. A negyedik, hogy a rossz adatokon betanított modellek könnyen kudarcot vallanak: az Epic egészségügyi cég által kórházaknak eladott szepszis-előrejelző rendszer nemzeti adatokon tanult, és a helyi betegpopulációkon nem működött megfelelően. Az ötödik, hogy az emberi viselkedés és élethelyzetek egyes esetekben egyszerűen nem modellezhetők.

Populációs és egyéni előrejelzés

Narayanan szerint lényeges különbség van a között, hogy a mesterséges intelligenciát természeti vagy társadalmi folyamatok népességszintű mintáinak előrejelzésére használják-e, például erdőtüzek vagy élelmiszer-eredetű megbetegedések esetében, vagy egyéni sorsokról hoznak ítéletet. Az előbbi korábbi figyelmeztetéseket és okosabb erőforrás-elosztást segíthet, az utóbbi viszont statisztikai összefüggéseket alakít etikailag problémás ítéletté. Egyéni szintű előrejelzések legfeljebb tanácsadó jellegűek és megtámadhatók lehetnek, nem automatizáltan alkalmazhatók.

A neurális hálózatok átláthatatlansága tovább súlyosbítja a helyzetet: döntéseik gyakran még alkotóik számára sem magyarázhatók. Ahol ilyen rendszereket a büntető igazságszolgáltatásban vagy a munkaerőpiacon vetnek be, az érintettek nem tudják megvizsgálni a döntést. Narayanan szavaival: az AI-s csodaszerek azért vonzók, mert a vásárlók működésképtelen intézményekben élnek, és gyors megoldásra vágynak. A szöveg az Epic szepszis-előrejelző rendszerével zárul, amely nemzeti adatokon tanult.