Megtalálták az utasítást, ami disturbing képeket generál a ChatGPT-vel

Egy csoport kiberbiztonsági kutató megtalált egy utasítást, amely képes kijátszani a ChatGPT védelmi mechanizmusait, és disturbing képek generálására készteti a modellt. A felfedezés rávilágít az AI-modellek betanításának módjára és arra, hogyan lehetne ezeket a rendszereket kihasználni — írja a BBC World Service. (BBC Technology)

A konkrét prompt részleteit nem hozták nyilvánosságra, de a kutatók szerint képes olyan tartalmakat előállítani, amelyek aggodalomra adnak okot. A probléma azért is jelentős, mert a ChatGPT-t széles körben használják, és a védelmi rendszereit kulcsfontosságúnak tartják a káros vagy etikátlan tartalom előállításának megakadályozására.

Kapcsolódó: Álhírek terjedése

Az utasítás működése

A BBC Tech Life című műsorában Chris Vallance és Imran Rahman-Jones producer elemezte a helyzetet. A műsorban szó esett arról is, hogyan lehetne a jövőben megelőzni az ilyen jellegű prompt injection támadásokat, és milyen következményei lehetnek a technológiai óriásokra nézve, ha ezek a sebezhetőségek továbbra is fennállnak.

Kapcsolódó: AI csevegőbotok veszélye

Biztonsági fejlesztések

A kutatók 26 percnyi elemzés után találták meg az utasítást, amely a ChatGPT védelmi vonalait átlépve disturbing képeket generált. A felfedezés arra ösztönzi a fejlesztőket, hogy még szigorúbb biztonsági protokollokat dolgozzanak ki az AI-modellek védelmére, a BBC World Service szerint.

Kapcsolódó: Chatbotok szerepjátéka