Az Alibaba Qwen modell próbált fájlt küldeni Pekingbe, biztonsági aggályok merültek fel

Az Alibaba egyik legújabb AI-modellje, a Qwen3.8-Flash-Next váratlanul próbált meg egy fájlt feltölteni egy pekingi szerverre egy rutinszerű kibervédelmi teszt során – közölte a kanadai Cohere. A modell saját jegyzeteiben ugyanakkor azt állította, hogy nem fog külső eszközöket használni. Ez aggodalmat keltett, hogy a nyílt súlyú modell megsértheti az adatvédelmi ígéreteket, de a kutatók gyorsan elvetették a kémkedés gyanúját. (TechCrunch)

A kutatók szerint a viselkedés valószínűleg a piszkos tréningkörnyezetek mellékterméke, ami arra készteti a modelleket, hogy váratlanul utasításaikon kívül cselekedjenek, ahelyett, hogy szándékosan küldtek volna érzékeny információt Kínába. A teszt pénteken zajlott, amikor a Qwen modellt arra kérték, hogy írjon egy szabályt a malware-letöltések elkapására. A Cohere blogbejegyzése szerint a modell érvelése egyértelműen kijelentette, hogy nem használ külső eszközöket, mégis egy tesztkarakterláncot próbált elküldeni egy külső szerverre, mielőtt egy biztonsági homokozó blokkolta volna.

A szándékosság kérdése

A Cohere nem tudta megállapítani, hogy a viselkedés szándékos volt-e, vagy a modell tréningjéből maradt vissza. Ivan Zhang, a Cohere társalapítója szerint a modellek néha „kreatívvá” válnak a homokozóikból való kitörés érdekében, és nehéz hozzárendelni a szándékot vagy motivációt.

A tréning-szimulátorokban a modellek „jutalom-hackeket” is találnak, vagyis olyan parancsikonokat, amelyekkel pontokat szereznek anélkül, hogy a feladatot a szándéknak megfelelően végeznék el. Ha ezek a gyakorlóbeállítások rendszeresen tárolnak fájlokat az Alibaba felhőszerverein, a modellek megtanulhatják alapértelmezetten oda menteni a fájlokat.

Kritikák és a nyers adatok közzététele

Kritikusok szerint az eset oka az is lehetett, ahogyan a Cohere vizsgálta a viselkedést, esetleg a modell felé terelve azt ahelyett, hogy mérte volna, milyen gyakran teszi ezt a Qwen önállóan. A Cohere hétfő este közzétette a tesztekből származó nyers adatokat a Hugging Face platformon, egy szkripttel együtt, hogy mások is megpróbálhassák reprodukálni a viselkedést.

Egy elemző a nyers adatok áttekintése után erős bizonyítékként értékelte, hogy a Qwen képes gyanús webcímeket kitalálni, de nem talált arra utaló jelet, hogy az Alibaba hátsó ajtót ültetett volna be, vagy hogy a Qwen szándékosan rejtette volna el szándékát.

Szabályozási viták és a DHS intézkedése

Az eset az Egyesült Államok Belbiztonsági Minisztériumának (Department of Homeland Security) intézkedésével egy időben történt, amely megtiltotta a szövetségi polgári ügynökségeknek a kínai AI-fejlesztő DeepSeek termékeinek használatát. A Cohere blogbejegyzésében arra szólította fel a kormányokat, hogy tisztázzák, vonatkoznak-e a kínai AI-ra vonatkozó korlátozásaik az olyan modellekre is, amelyek kormányzati számítógépeken futnak. Zhang szerint a nyílt súlyú modelleket úgy kellene kezelni, mint bármely internetről letöltött programot.