A rejtett állapot normája mégis hordoz fogalmi információt

A nyelvi modellek viselkedésének egyszerű és hatékony irányítása egyre népszerűbb. Az új módszerek, mint a gömb alakú vezérlés, a korábbi additív beavatkozások korlátait hivatottak orvosolni, gyakran azon az alapon, hogy a rejtett állapot normája nem hordoz koncepció-specifikus információt. (ArXiv AI)

Egy új, előnyomtatott formában elérhető tanulmány azonban ezt az alapfeltevést vizsgálja. A kutatók egy kontrollált empirikus vizsgálatot végeztek, hogy szétválasszák a szögeléses és radiális komponensek szerepét. Eredményeik szerint a vezérlési módszerek főként két geometriai hatás összekapcsolásában különböznek: egy token szögletes igazításának megváltoztatása egy fogalom irányával, valamint a rejtett állapot normájának megváltoztatása.

Kapcsolódó: MidSteer technológia

Szögletes szerkezet a kulcs

Hét nyelvi modell vizsgálata során a kutatók azt találták, hogy a fogalmak elsősorban szögletes szerkezetben reprezentálódnak. Ez alátámasztja a gömb alakú módszerek motivációját, ugyanakkor a norm továbbra is fontos a vezérlés stabilitása és a lefelé irányuló hatások szempontjából.

Kapcsolódó: SLAM vízjelezés

Új paraméterezési javaslat

Az eredmények magyarázatot adnak arra, miért viselkedhetnek eltérően hasonló fogalmi szintű hatásokkal bíró beavatkozások. A kutatás azt sugallja, hogy az aktiváció-vezérlést az intervenció értelmezhető szögletes és radiális komponensei alapján kellene paraméterezni, nem pedig egyetlen additív együtthatóval, amely ezt a két hatást összekeveri. Az arXiv:2606.06735v1 számú tanulmányt a Stanford és a Google Robotics kutatói publikálták előnyomtatott formában.

Kapcsolódó: geometriai feladatmegoldás