ÉlőUtoljára: 6 perceMa: 18
Biztonságfrissítve: 22:15

Új CSAM-felismerő eszközt és figyelmeztetéseket vezet be az OpenAI

Az OpenAI új képosztályozót ad ki, amely az AI-val generált gyermekbántalmazó képeket is felismeri; a ChatGPT pedig 24 órás felfüggesztéssel figyelmezteti a gyermekeket szexualizáló kéréseket beíró felhasználókat.

Új CSAM-felismerő eszközt és figyelmeztetéseket vezet be az OpenAI
Fotó: Brecht Corbeel / Unsplash
forrás: TechCrunch·AI Forradalom szerk.·
Megosztás

Az OpenAI új eszközöket jelentett be a gyermekbántalmazó anyagok (CSAM) elleni küzdelemre, miközben a mesterséges intelligencia visszaélésszerű használata miatt egyre nő a biztonsági aggodalom. A csomag egy új képosztályozót, figyelmeztetéseket és ideiglenes tiltásokat, fejlesztőknek szóló irányelveket, valamint bűnüldözési eszközöket tartalmaz — írja a TechCrunch.

A képosztályozó a CSAM-et keresi, köztük a mesterségesen előállított képeket is. Válogatott partnerek ingyenesen, az API-n keresztül érhetik el. Az eszköz a korábban nem látott képekben keres a bántalmazásra utaló vizuális jeleket, és pontszámot ad, amely a felülvizsgálóknak mutatja meg, hogyan kezeljék az adott tartalmat.

Korai teszt: kevesebb felesleges jelzés

Az OpenAI a National Center for Missing and Exploited Children (NCMEC) szervezettel közösen fejlesztette a klasszifikátort, és a Tech Coalition és az ROOST partnerekkel dolgozik az eszköz megosztásán.

A partnerekkel végzett korai tesztben a cég szerint az osztályozó 48%-kal kevesebb képet jelölt meg, miközben ugyanannyi bántalmazó képet talált — ez csökkenti a felülvizsgálók munkáját. Az osztályozó által megjelölt képek kétszer nagyobb valószínűséggel bizonyultak bántalmazónak. Ezek az adatok az OpenAI saját, korai teszteléséből származnak, független, nagy léptékű ellenőrzés még nem történt.

Figyelmeztetések és felfüggesztés a ChatGPT-ben

A ChatGPT új figyelmeztető képernyőket kap, amelyek a gyermekeket szexualizáló anyagok elérését akadályozzák. Az ilyen kéréseket beíró felhasználó riasztást kap, a rendszer pedig szakosodott segítségre irányítja. A fiók emellett 24 órára felfüggesztésre kerül figyelmeztetésként. Ismételt jogsértés végleges fiókletiltáshoz vezethet.

Az alkalmazás eddig is blokkolta a CSAM-tartalmat és az ahhoz kapcsolódó kéréseket. A figyelmeztető üzeneteket a Protect Children és a Lucy Faithfull Foundation szervezettel, valamint Joel Scanlan tasmaniai egyetemi kutatóval dolgozták ki; Scanlan független értékelést készített a visszatartó üzenetek próbaüzemeléséről.

Fejlesztők és bűnüldözés

Az OpenAI a saját eszközeit használó fejlesztőknek szóló irányelveket is közzétesz a CSAM megelőzésére, felismerésére és bejelentésére. A cég szerint a korai tesztelésben több fejlesztő vezette be a gyermekvédelmi eszközöket, és regisztrált az NCMEC-nél történő jelentéstételre. A gyermekvédelemmel foglalkozó hatóságok számára dedikált bővítmények, vizsgálóeszközök és összetett adatelemzés is rendelkezésre áll, a hozzáférést a programadminisztrátorok kezelik. A cég emellett képzést és terepi útmutatót ad a nyomozóknak az AI használatához.

Kritikák és előzmények

Az OpenAI ellen több per is indult, amelyekben a cég technológiáját okolják felhasználók, különösen gyermekek károsodásáért. A biztonságpárti non-profit Common Sense Media a technológiát tinédzserekre nézve „elfogadhatatlan kockázatúnak” minősítette. Más chatbotokat, konkrétan a Grokot is használták beleegyezés nélküli, szexualizált képek készítésére, köztük gyermekekről is. Az OpenAI az elmúlt 12 hónapban biztonsági tervet adott ki, frissítette a tartalmi irányelveit, újrahangolta modelljét a káros tartalmak megakadályozására, és tinédzsereknek szóló speciális ChatGPT-verziót indított.

Forrás

Feldolgozott sajtóforrás·TechCrunch

Eredeti cikk megnyitása →

Ez a cikk a fenti sajtóforrás alapján készült AI-összefoglalóval.

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

☕ Támogatom