Az AI-modellek neuronjainak 90%-a érthető, állítja a Goodfire kutatója

A mechanisztikus értelmezhetőség célja, hogy ne csak a modell kimenetét figyelje, hanem belső működését is feltárja, ideális esetben minden mesterséges neuront egy felismerhető fogalomhoz rendelve. Az írás, amelynek címe „Neural Networks Are Already Clean” (A neurális hálózatok már tiszták), megkérdőjelezi azokat a nézeteket, amelyekhez Cammarata maga is hozzájárult korábban. (The Decoder)

A szupozíció újragondolása

Korábban sok kutató, köztük Cammarata is, a szupozíció (superposition) jelenségére hivatkozott, amely szerint a neuronok kevésbé érthetők, mert több, egymástól független fogalmat is tárolnak. Az egyik leghíresebb példa erre egy InceptionV1 képfelismerő modell neuronja volt, amely macskák és autók arcára is reagált.

Cammarata most úgy véli, hogy ezeket a példákat félreértelmezték. Szerinte a macska-autó neuron valójában egy V-alak detektora, amely hegyes formákra, például rókaorrra vagy lángnyelvekre reagál, míg a kerek formák negatív irányba tolják az aktivációját. Ez azt jelenti, hogy nem két teljesen független fogalmat képvisel, így nem példa a szupozícióra.

Eredmények a Qwen3-32B modellben

Cammarata szerint a korábbi eredmények félreértelmezésének oka az elavult architektúra és a gyenge elemzőeszközök lehettek. Új, fejlettebb módszerekkel és automatizált ügynökökkel végzett vizsgálatai alapján a Qwen3-32B modellben a neuronok körülbelül 90%-a egy fő feladatot lát el, további 7% pedig két kapcsolódó feladatot.

Csupán 2-4% marad megmagyarázatlanul. A Goodfire hasonló eredményeket tapasztal nagyobb, akár trilliónyi paraméteres modellek esetében is. Cammarata szerint az értelmezhetőség terén is a méretes skálán végzett egyszerű vizsgálódás múlja felül a bonyolultabb dekompozíciós módszereket.

Ha Cammarata elmélete helytálló, az jelentős előrelépést jelenthet az AI-biztonság szempontjából. Jelenleg kevés módszer áll rendelkezésre annak megállapítására, hogy egy modell megtévesztő vagy veszélyes módon viselkedik-e. Cammarata szerint az AI-modellek célokhoz igazítása (alignment) nem oldható meg az értelmezhetőség nélkül, mert enélkül nem tudjuk, mit építünk. Ha az emberi olvasók is látni tudják a modell belső működését, a megtévesztés is észrevehetővé válik, és a hibák célzottan javíthatók.

Az OpenAI egyik alkalmazottja, Roon (alneven publikál az X-en) lelkesen fogadta az esszét, történelmi jelentőségűnek nevezve azt. Mások, mint Neel Nanda, a Google DeepMind kutatója, óvatosabbak. Nanda szerint Cammarata munkája érdekes, de nem változtatja meg alapvetően a képet. Bár a neuronalapú elemzés segíthet gyakorlati kérdésekben, Nanda továbbra is úgy gondolja, hogy a szupozíció jelensége valós, és a kisebb képmodellekből származó eredmények nem feltétlenül vonatkoznak a nagyméretű nyelvi modellekre.