Az OpenAI új osztályozója segíthet a gyermekbántalmazási bejelentések áradatának kezelésében
Az OpenAI bemutatott egy osztályozót, amely a gyermekeket érintő bántalmazó képeket — köztük az AI-val generáltakat is — képes felismerni, és a cég szerint 48%-kal kevesebb képet jelöl meg tévesen.

Az OpenAI hétfőn, a washingtoni sajtóeseményen mutatta be az új osztályozót, amely a gyermekeket érintő szexuális bántalmazás képi anyagait ismeri fel, azt is jelezve, hogy a kép mesterségesen készült-e — közölte The Verge.
A cég ingyenes hozzáférést ad ellenőrzött szervezeteknek, fejlesztőknek részletesebb útmutatót nyújt a tartalmak felismeréséhez, és segít a rendvédelmi szerveknek megtanulni, hogyan támogathatja az AI a nyomozásokat. A bejelentés azon a háttéren történik, hogy a szakpolitikusok és mások szigorúbb biztonsági korlátozásokat sürgetnek az AI-eszközökre, és azzal vádolják az OpenAI-t és más cégeket, hogy hozzájárulnak a gyermekek sérelmére.
A bejelentési rendszer túlterheltsége
Az NCMEC CyberTipline, amely a gyermekbántalmazási anyagokra vonatkozó jelentéseket gyűjti és rangsorolja, 2025-ben 400 000 generatív AI-hez kapcsolódó jelentést kapott, szemben a 2024-es 67 000-rel. A kutatók szerint a tömeg miatt az NCMEC munkaterhe „kezelhetetlenné” válhat.
Az Egyesült Államok kormánya szerint mind a mesterségesen, mind a nem mesterségesen készült gyermekbántalmazó anyagok illegálisak, és 48 államban van törvény a szexuálisan explicit AI-deepfake-ekről. A kutatók ugyanakkor arra figyelmeztetnek, hogy a hamis képek özöne megnehezítheti annak felismerését, hogy egy gyermek éppen valóban bántalmazás áldozata-e.
Jeff Jackson észak-karolinai főügyész, az AG Alliance AI-munkacsoportjának társelnöke az eseményen „robbanásszerűnek” nevezte az AI-generált jelentések számának növekedését. Szerinte, ha ez a tendencia folytatódik, „azt jelenti, hogy kudarcot vallunk a küldetésünkben”.
Az osztályozó működése
Az OpenAI szerint az osztályozó jelentősen csökkenti a téves riasztásokat: 48%-kal kevesebb képet jelöl meg, és a megjelölt képek kétszer nagyobb valószínűséggel tartalmaznak bántalmazó anyagot — a számokat a cég közölte, függetlenül nem ellenőrizték.
Az eszközt úgy tervezték, hogy többféle eszközzel, köztük nyílt forráskódú modellekkel és a meztelen képeket készítő alkalmazásokkal előállított bántalmazó AI-képeket is felismerjen. John Buckley, az OpenAI gyermekbiztonsági közpolitikai vezetője szerint ez az első széles körben elérhető CSAM-osztályozó, amely külön jelzi az AI-val generált anyagokat.
Buckley szerint az iparágnak tudnia kell, mely képek ábrázolnak kitalált gyermeket és melyek valódit, mert ez a rendvédelmi jelentési folyamatok szempontjából kulcsfontosságú. Hozzátette: az AI-generált gyermekbántalmazó anyag károsan befolyásolhatja a társadalmi normákat, és gyakran valódi gyermekeket ábrázoló anyagokkal együtt található meg.
Visszaélések elleni lépések
Az OpenAI saját képgenerátora elutasítja a gyermekbántalmazó tartalmak kérését. Aki mégis próbálkozik, új figyelmeztetést lát, amelyet szakértői tanácsok alapján fejlesztettek ki, és segítséget kínál. Az első alkalommal a felhasználó 24 órára elveszíti a ChatGPT-hozzáférését, és figyelmeztetést kap, hogy a fiókját véglegesen lezárhatják. A cég szerint minden CSAM-esetet jelent az NCMEC-nek. Buckley elmondta, hogy a 24 órás szünet a bevált szakmai gyakorlaton és nemzetközi tapasztalatokon alapul, és célja a káros viselkedés megszakítása.
Jackson elismerte, hogy Észak-Karolina és sok más állam már rendelkezik a szintetikus CSAM-et lefedő törvényekkel, de szerinte az, hogy egy technológiai céggel együttműködnek a létrehozás megelőzésében, újszerű megközelítés. „A főügyészek munkájának nagy része utólagos elszámoltatás” — mondta. „Most azt szerettük volna megnézni, lehetséges-e közösen megelőzni ezt a kárt. Ez még mindig lényegében kísérlet.” A kísérlet eredményét a 2025-ös NCMEC-adatok alapján lehet majd mérni, amelyek 400 000 jelentést mutattak.