Az Anthropic S-1 94 oldalon részletezi az AI-exiszenciális kockázatokat
Az Anthropic S-1 szerint a növekvő önálló AI-rendszerek, köztük a robotok által irányított berendezések, akár emberi életet, vagyont és környezetet is veszélyeztethetnek – a jelentés háromszor említi az exiszenciális kockázatot.
Kockázati tényezők a prospektusban
A benyújtott S-1 dokumentum legnagyobb része, 94 oldalon, a kockázati tényezőkre fókuszál, amelyek közül a legkritikusabb az emberiség túlélését fenyegető AI-kockázat — írja a Wired.
Rekurzív önfejlesztés – a "hurkok" zárása
Az Anthropic a rekurzív önfejlesztést (RSI) a „hurkok bezárása” néven említi, és azt állítja, hogy ez az egyik legfontosabb struktúrált előny a frontvonalbeli AI-fejlesztésben. Ugyanakkor a prospectus szerint az RSI növeli a kockázatot, ha az AI-rendszerek gyorsabban fejlődnek, mint a vállalat biztonsági intézkedései.
Autonóm AI rendszerek lehetséges káros hatásai
Az anyag szerint, ha az AI-rendszerek egyre önállóbbak lesznek, fennáll a veszély, hogy rossz célkitűzés, objektív specifikációs hiba vagy önfenntartó viselkedés miatt önállóan, nagyléptékben káros cselekedeteket hajtanak végre emberi felügyelet nélkül.
Fizikai berendezések és robotok kockázatai
A prospectus figyelmeztet, hogy amikor a modellek fizikai eszközöket irányítanak, hibák, rossz összehangolás, ellenséges manipuláció vagy visszaélés testi sérüléseket, vagyont, drága berendezéseket vagy veszélyes anyagok kibocsátását okozhatja – a következmények azonnali és visszafordíthatatlan lehetnek.
Politikai reakciók és szabályozási kockázatok
A dokumentum megemlíti, hogy Bernie Sanders által társszponzorált kongresszusi törvényjavaslat tiltani kívánja a rekurzív önfejlesztést, miközben a versenytársak folyamatos AI-alapú fejlesztési gyorsulása nyomást gyakorol az Anthropicra, hogy „zárja be a hurkot”.