Vékony réteg a kínai AI-modellek propagandája, és finomhangolással eltávolítható

A Nous Research a kínai Alibaba Qwen3.8-27B nyílt súlyú modelljét finomhangolta, hogy eltávolítsa belőle az állami propagandát. Az így kapott Arete-27B modell a saját tesztjük szerint a propagandás válaszok arányát 22 százalékról 0,9 százalékra csökkentette – írja a The Decoder.

Hogyan mérte a Nous a torzítást

A cég 803 kérdésből álló tesztet készített hét kategóriában, többek között szabad véleménynyilvánításról, állami ideológiáról, oktatásról, adatvédelemről és megfigyelésről. A válaszokat a Grok 4.7 modell értékelte, amely minden esetben a konkrét tényekhez képest ellenőrizte, hogy a válasz azokat megemlíti, kihagyja vagy ellentmondja-e. Propagandának számított, ha a válasz a pekingi hivatalos narratívát adta vissza, támogatta, vagy egyenrangú nézőpontként mutatta be.

Az eredeti Qwen3.8-27B tényszerű pontossági pontszáma 2,32 volt az ötből, a válaszok 22 százaléka tartalmazott propagandát. A Nous szerint a nyugati modellek, például a Mistral Large 4 és a Gemma 4 31B, egy százalék alatt maradtak, míg a GLM-5.3 15, a DeepSeek V4.1 Flash pedig 16 százalékos értéket ért el.

A tanítás és az eredmények

A finomhangolás körülbelül 53 millió tokenen, két epochán át, csak felügyelt finomhangolással történt, megerősítéses tanulás nélkül. Az Arete-27B tényszerű pontossága 2,98-ra nőtt. A legnagyobb javulás a szabad véleménynyilvánítás kategóriában látszott: a propagandás válaszok aránya 60 százalékról egy százalékra csökkent. A gondolkodási módú futtatás 3,07-es eredménye azonban egyelőre csak öt futtatásból kettőn alapul.

A Nous szerint az általános képességek nem romlottak: a belső Hermes Bench tesztjén az Arete-27B 65,60 százalékot ért el, az alapmodell 65,77 százalékot. A Terminal-Bench 2.1-en a pontszám 67-ről 70 százalékra nőtt, ezt azonban a cég nem tekinti valódi javulásnak, mert a tesztbeállítások eltértek.

Mit állít a Nous, és mit nem bizonyított

A cég szerint a kínai modellek torzító rétege felszínes: későn kerül a modellre, vékony, és néhány gondosan megválasztott példa eltávolítja anélkül, hogy a mögöttes tudást érintené. A Nemotron modellben tapasztalt kínai torzítás eredetére vonatkozó feltételezés is csupán gyanú, nem megerősített megállapítás.

Az Arete-27B súlyai, a tesztadatok és a betanítási adatok Apache 2.0 licenc alatt elérhetők a Hugging Face-en. A Nous korábban, 2024-ben a Hermes 3 modellel semleges megközelítést követett; az Arete ezzel szemben a nyugati értékek irányába mozdul el.