AI-vezérelt hírszerzés majdnem háborút robbantott ki USA és Kína között

Egy szeptemberben napvilágra került incidens rávilágított az AI-vezérelt fegyverrendszerek kockázataira, még akkor is, ha emberi felügyelet van a döntéshozatalban. A CNN szeptember 18-i jelentése szerint az iráni háború közepén az amerikai hadsereg egy kínai hajót készült átvizsgálni, amelyről azt hitték, nukleáris fegyverprogramhoz szállítanak alkatrészeket. Ez a feltételezés egy „teljesen hamis” mesterséges intelligenciával (AI) generált hírszerzési jelentésen alapult, amely tévesen azonosította a hajó rakományát. (Transformer)

A jelentés forrásai szerint „katonai repülőgépek voltak a levegőben”, mielőtt a hibát felfedezték volna, és az egyik forrás úgy véli, az eset „majdnem háborút indított” két rivális atomhatalom között. Ez egy másfajta, AI-vezérelt egzisztenciális kockázat, mint a szuperintelligens szoftverek által generált fenyegetések. Itt az emberi döntéshozók hibáznak az AI segédletével, ami más emberek halálát okozza.

Automatizációs torzítás a hadseregben

Bár nem ismert pontosan, hogyan használta az elemző az AI-t a téves következtetés eléréséhez, Jacquelyn Schneider, a Stanford Egyetem Hoover Intézetének hadijáték- és válságszimulációs kezdeményezésének igazgatója szerint az eset „nagyon is hihető” volt. „Már AI előtt is voltak rossz hírszerző tisztek” – mondta Schneider a Transformernek. „Egy rossz hírszerző nem tárgyalja a bizonytalanságot az adatok mögött. Az AI-val sokkal könnyebb magabiztosnak lenni az értékelésben, és sokkal kevesebb rálátásunk van az adatok forrására.”

Évtizedek óta szakértők figyelmeztetnek arra a paradox jelenségre, hogy minél automatizáltabbak a rendszerek, annál inkább növekszik az emberi hibák százaléka. Ezt „automatizációs torzításnak” nevezik: az emberi felhasználók túl megbízónak bizonyulnak az automatizált rendszerek által nyújtott információkkal szemben, és figyelmen kívül hagyják a problémák jeleit, ha azokat nem ugyanazok a rendszerek jelölték.

Új parancsnokság az AI-ért

Ez aggodalomra ad okot, mivel a hadseregek, köztük az Egyesült Államok is, agresszíven integrálják az AI-t a felderítésbe, hírszerzésbe és célpont-kijelölésbe. Pete Hegseth védelmi miniszter ezen a héten jelentette be az új Autonóm Hadviselési Parancsnokság létrehozását, amely a drónok és a mesterséges intelligencia telepítését felügyeli majd.

Az izraeli +972 Magazine jelentése szerint a gázai háború korai szakaszában az izraeli védelmi erők gyakran csak „gumibélyegzőként” szolgáltak az AI bombacélzó rendszer, a Lavender döntéseihez, annak ellenére, hogy a rendszer, amelyet a Hamász célpontjainak azonosítására terveztek, akár 10%-os hibaszázalékkal is dolgozott, hozzájárulva a magas civil áldozatszámhoz.

Kérdések merültek fel a Palantir Maven Smart System – a Pentagon „mindenre kiterjedő alkalmazásaként” emlegetett AI parancsnoki és vezérlőrendszere – szerepével kapcsolatban is az iráni háború első napján történt minabi általános iskolai bombázásban. A több mint 150 ember, köztük sok gyermek halálát okozó csapás valószínűleg a rendszerbe táplált elavult adatok miatt következett be.

A Bloomberg jelentése szerint a bombázás csak egy volt az ezer célpont közül, amelyeket a háború első napján, a Maven által lehetővé tett összehangolt támadásban értek el. A Palantir a hibát követően frissítésekkel reagált, hogy a rendszer felülvizsgálja az alapul szolgáló hírszerzést a javaslattétel előtt.

Gázában és Iránban az AI-szintetizált hírszerzés túlzott emberi bizalma már civil áldozatokhoz vezethetett. Egy USA–Kína forgatókönyvben az ilyen hibák világméretű háborút és sokkal nagyobb halálos áldozatszámot okozhatnak. Miközben az AI-biztonsági vitákban nagy figyelmet kap a rendszerek emberi értékekkel való összhangja, a nagyobb kockázatot az jelentheti, ahogyan az emberek viselkednek a rendszerekkel együttműködve. Végül is emberek, nem AI-rendszerek döntöttek a Lavender által kiválasztott célpontok, a minabi iskolabombázás és – majdnem – egy kínai hajó átvizsgálásának zöld utat adásáról.

A Stanford Schneider több éve tart háborús játékokat, amelyekben egy hibás AI célzórendszer indít USA–Kína konfliktust a Tajvani-szorosban – olyan forgatókönyveket szimulálva, amelyek hátborzongatóan emlékeztetnek a közelmúltbeli közel-keleti eseményekre. „Amikor a nukleáris fegyver kilövéséhez vezető döntési fát nézzük, az AI integrációja nagyon, nagyon korán megtörténhet a döntéshozatali folyamatban” – mondta. Ez egy sokkal nehezebben kezelhető probléma egy általános chính sáchal vagy nemzetközi szerződéssel.

Az AI valódi egzisztenciális kockázata talán nem egy önállóan nukleáris háborút indító programból, vagy akár egy nemzeti vezető ilyen irányú tanácsadásából fakad, hanem a döntéshozatali hierarchiában sokkal alacsonyabb szinten lévő katonatisztekből vagy hírszerző elemzőkből, akik óriási stressz és időnyomás alatt, az AI-ra támaszkodva hozzák meg azokat a döntéseket, amelyek elindítják a háborút.

Végül az ember és az AI közötti partnerség veszélyesebbnek bizonyulhat, mint az AI önmagában. Az az elképzelés, hogy „ember a hurokban” legyen minden élet-halál döntésnél, amely magában foglalja az AI-t, megnyugtatóan hangozhat, de megköveteli, hogy az illető ember valóban alkalmas legyen a feladatra. A Palantir a minabi iskolabombázás utáni hibát frissítésekkel orvosolta a Maven rendszerben.