LLM-ek közvetlenül szerkeszthetik más modellek súlyait, új kutatás

Az Alex Zhang vezette kutatócsoport bemutatta a „Weight Space Programming” (súlytér-programozás) nevű módszert, amellyel nagyméretű nyelvi modellek (LLM) közvetlenül képesek más, kisebb modellek nyers súlyait olvasni és szerkeszteni. Ez a megközelítés forradalmasíthatja az AI-fejlesztést, mivel lényegesen leegyszerűsíti a modellek finomhangolását és hibajavítását. (Latent Space)

A módszer lényege, hogy az LLM-ek képesek megérteni és módosítani a célmodell súlyait, hasonlóan ahhoz, mintha egy összeállított program bináris kódját szerkesztenék. Ezzel a technikával akár egy komplett neurális hálózat súlyait is létrehozhatják a nulláról, potenciálisan felülmúlva az önállóan betanított modelleket. A kutatás szerint mindössze 50 lépés elegendő lehet egy modell általános irányú javításához, bár ezt a lehetőséget a kutatók óvatosan, lehetséges túlzásként említik.

A súlytér-programozás előnyei és korlátai

A súlytér-programozás egyik konkrét alkalmazása a Qwen modell súlyainak szerkesztése volt, ami csökkentette a modell „gondolkodási hurokban” való elakadását. Ezzel párhuzamosan a DeepSeek bemutatta „super-agent” prototípusát, amely a feladatok elvégzésének 95. percentilis idejét 29,5 percről 15,7 percre csökkentette egyetlen munkamenethez képest. A prototípus ugyanakkor még nem rendelkezik beépített, több munkamenetre kiterjedő memóriával, és a biztonsági, valamint adatvédelmi kérdések is nyitottak.

Új teljesítménytesztek és a jövő

A súlytér-beavatkozások hatékonyságának mérésére bevezették a GDPx teljesítménytesztet, amely 206 különböző, gazdasági szempontból értékes területen elvégzett feladatot értékel. A kutatók ugyanakkor hangsúlyozzák, hogy a módszer jelenleg valószínűleg nem skálázható fejlettebb feladatokra, mint egyszerű játékok vagy megerősítéses tanulási politikák. A GDPx teszt 206 feladatot tartalmaz, amelyeken a súlytér-programozás hatékonyságát mérik.