Spammerek lopakodó Unicode-tagokkal kerülik meg a Microsoft AI-szűrőit

A támadás mechanizmusa

A módszer rejtett Unicode-tagokat használ, amelyek láthatatlanok az emberi szem számára, de az LLM-ek feldolgozzák őket. A spammerek a láthatatlan szöveget azért ágyazzák be, hogy kijátszhassák a kulcsszavakra, például dollárösszegekre, valamint a „hitel” és „lejárat” szavakra vadászó szűrőket. Például a „funding” szóba rejtett karakterekkel a szűrők a „fun” és „ding” szavakat láthatják, míg a címzett továbbra is a „funding” szót látja. (Ars Technica)

Detektálási adatok és okok

A Microsoft Defender for Office rendszere február elején tapasztalta a technika robbanásszerű elterjedését. A napi mintegy 21 000 detektálás hirtelen 1,3 millióra ugrott, majd négy napon belül elérte a 2,5 milliót. A nagyszámú támadás hónapokon át tartott, mielőtt május közepén élesen visszaesett. A Microsoft szerint a spammerek valószínűleg azért vették át a rejtett Unicode-tagokat, mert egyes spam-szűrők még nem voltak képesek felismerni őket.

Ennél valószínűbb ok lehet, hogy ellensúlyozzák a gépi tanulási (ML) és természetes nyelvi feldolgozási (NLP) modellek előnyeit, amelyeket egyre inkább használnak a spam- és adathalász-osztályozásban. A támadók fő célja nem a literális karakterlánc-egyezések megelőzése, hanem az ML- és NLP-alapú modellek megtévesztése.

„Mivel a tagkarakterek láthatatlanok az emberi szem számára, de léteznek a szövegfeldolgozási szinten, ugyanaz a tulajdonság teszi őket hasznossá az utasítások modellbe csempészésére, mint ami a kulcsszavak elrejtésére is alkalmassá teszi őket egy detektor kiértékelése előtt” — magyarázta a Microsoft csütörtökön. „A szándék ellentétes, de a mechanizmus hasonló, és a felhasználó gyanúja nem ébred fel.”

A Microsoft útmutatást adott a fejlesztőknek a szűrők programozásához, hogy jobban figyelembe vehessék az ASCII smuggling technikát a spamekben. A technika eredetileg az AI-ügynökök elleni támadások, az úgynevezett prompt injectionek elrejtésére szolgált.