Kutatásait nyíltan publikálja a Trillium Labs, hogy csökkentse az AI-kockázatot

Nathan Lambert korábban az Ai2 kutatólaborban dolgozott, míg Tom Zick a Harvard Egyetemen volt kutató, mielőtt megalapították volna a Trillium Labst. A két szakember a COVID-19 világjárvány idején ismerkedett meg, miközben mindketten az UC Berkeley-n végeztek mesterképzést AI-területen. Az ötlet a non-profitra akkor született meg, amikor látták, mennyire elszakadt az iparági AI-kutatás az akadémiai munkától; a professzorok és diákok gyakran nem tudják megismételni a nagyvállalati laborok munkáját az erőforrások hiánya miatt.

A nagy AI-cégek titkolózó gyakorlatával szemben a Trillium Labs non-profit kutatólabor nyíltan teszi közzé kísérleteit. A cél, hogy a publikált részletek lehetővé tegyék más tudósok számára a munkák tanulmányozását és megismétlését, ezzel csökkentve a potenciális károkat. „Az elmúlt évezredekben az emberiség a tudományos módszert használta a károk mérséklésére és jobb jövő építésére” — mondta Lambert a WIRED-nek. „A jelenlegi, zárt fejlesztési irányzat egy lépés hátrafelé.”

Az alapítók szakmai háttérje

Lambert az Ai2 mellett Zick a Charles Schwabnak segített a „felelős AI” politikák kidolgozásában. A Stanford kutatói pedig nyíltan előzetesen betanítják a Marin nevű AI-modellt, míg Kínában olyan cégek, mint a Xiaomi, élő részleteket publikálnak modelljeik betanításáról. Ez a stratégiai csata a nagy teljesítményű modellek miatt kiélezett, mivel azok képesek automatizálni a szoftverhibák felfedezését és rendszerek feltörését.

Kutatási fókusz és finanszírozás

A Trillium Labs kezdetben a nagy modellek utólagos finomhangolására összpontosít. Emellett kiemelt terület lesz a rekurzív önfejlesztés (RSI), amelynek során az AI maga is hozzájárul az új modellek kutatásához. Az RSI potenciálisan egzisztenciális fenyegetést jelenthet az emberiségre, ahogy azt egy Anthropic kutató is jelezte nemrégiben.

A non-profit foglalkozik majd az erősítésteszteléssel (reinforcement learning) is, amely jutalmazza a modell jó eredményeit és bünteti a rosszakat, ezzel javítva képességeit. Ez a módszer az ügynököket képessé teszi, de váratlan viselkedésre is hajlamossá teheti őket.

„Az erősítéstesztelés utólagos finomhangolásban való skálázódásának megértéséhez jelentős számítási kapacitásra és sok gondos kísérletezésre van szükség” — mondta Zick. A labor eddig ismeretlen összeget gyűjtött a Schmidt Sciences, a Halcyon Futures és másoktól. A tervek szerint összesen 40-100 millió dollárt akarnak összegyűjteni, és az elkövetkező 18 hónapban 30 millió dollárt költenek betanításra.

„Nagyon támogatom a jelenleginél sokkal nagyobb átláthatóságot a K+F terén” — nyilatkozta Tim Fist, az Institute for Progress igazgatója a WIRED-nek. Lambert és Zick végső célja, hogy a Trillium Labs hozzájáruljon a vitához arról, hogyan lehet a legjobban építeni az AI-t. „Egy olyan korszakban élünk, ahol az AI-diskurzust néhány világkép uralja” — mondta Lambert. „Hiszünk abban, hogy a tudományos módszer és a közelmúltbeli események gondos mérése a legjobb módja az új AI-viselkedések megértésének.” A Trillium Labs 30 millió dollárt költ betanításra az elkövetkező 18 hónapban.