Nyolc gondolkodási lépést azonosítottak a nagy nyelvi modellekben a KAIST-kutatók
A kutatók kimutatták, hogy a nyolc lépést a modellek középső rétegei választják szét a legerősebben, míg a felületi tokenek figyelése alulmarad. Az elemzés a Qwen2.5-7B, a Qwen3-8B és a Gemma4-31B belső aktivációit vizsgálta.
Modellek belső aktivációinak vizsgálata
A KAIST és a Naver AI Lab kutatói a modellbeli aktivációkat elemezték, hogy megvizsgálják, megkülönböztethetők-e a gondolkodási lépések. A vizsgálat során nyolc visszatérő műveletet definiáltak, majd a három modell megoldásait szegmensekre bontották. — írja a The Decoder
Rétegek szerepe a gondolkodási lépések elkülönítésében
Az elemzés azt mutatta, hogy a belső reprezentációk a középső rétegekben a legerősebb szétválasztási jelet hordozzák. A lépés típusa – legyen az kinyerés vagy számítás – egyértelműen megjelenik a középső rétegek aktivációs mintáiban, míg a korai és késői rétegek kevésbé differenciálják őket.
Token-szintű osztályozók alulmaradnak
Egy egyszerű, csak a felhasznált tokeneket figyelő osztályozó rosszabb teljesítményt nyújtott, mint a belső reprezentációkat elemző modell. A felület-szintű szavak – például „a”, „is”, „the” – ugyanúgy jelennek meg több lépésben, de a középső rétegekben már a környező művelet szerint szétválasztódnak.
Előző kontextus hatása a lépés-jelekre
A kutatók egy célzott beavatkozással blokkolták a modell figyelmét az előző 30 tokenre. Ennek hatására a lépés-jelek jelzése jelentősen gyengült, bizonyítva, hogy a gondolkodási fázisok nem önállóan, hanem a korábbi kontextusra épülnek.
Hibás megoldások és általánosíthatóság
Még a helytelenül számolt szegmensek is megtartották saját belső mintájukat – a hibás számítási lépés továbbra is számításként azonosítható volt. A jelenség Llama-3-8B modellre is replikálódott, és a Qwen3-8B-ra tanított osztályozók sikeresen átültethetők voltak a GPQA-Diamond és a MATH-500 benchmarkokra.
Biztonsági következmények
Az eredmények rámutatnak, hogy a modell belső állapota több információt hordoz, mint a felhasználók számára látható gondolatmenet. A Claude Opus 4.6-nál már megfigyelték, hogy a belső vektorok több lépést tartalmaznak, míg az OpenAI Astra modell a Recurrent Depth technikával részben a számításokat a belső reprezentációba helyezi át.
A kutatók szerint ez új irányt nyithat az AI-biztonság felügyeletében, bár a hibák elkapására vagy a generálás közbeni beavatkozásra vonatkozó alkalmazások még nyitott kérdések. A KAIST és a Naver AI Lab 2026. szeptember 12-én tette közzé a tanulmányt a The Decoderben.