Paul Christiano szerint akár 12 hónapon belül is veszélyes lehet a szuperintelligencia
Christiano becslése szerint, ha nem lassítanak jelentősen, több mint 10% a kockázata annak, hogy az irányítást egy éven belül elveszítik, a katasztrofális kimenetel esélyét pedig szubjektíven akár 50%-ra teszi.

Paul Christiano kutató szerint a jelenlegi fejlődési pályán akár egy éven belül léteznek olyan AI-rendszerek, amelyek szinte mindenben felülmúlják az embereket, és amelyek felett az emberek már nem tudnák az irányítást fenntartani. Christiano előadássorozatában és Dwarkesh Patel podcastjában fejtette ki álláspontját, amelyet Zvi Mowshowitz foglalt össze a Substacken.
Christiano szerint gyors fejlesztés esetén a kockázatbecslés és a kormányzás nem lenne elég érett ahhoz, hogy időben felismerje, ha a dolgok kicsúsznak az irányításból. Mowshowitz összefoglalása szerint a kutató szubjektív becslése alapján akár 50%-os az esély katasztrofális kimenetelre gyors fejlesztés esetén.
Biztonsági hiányosságok a laboratóriumokban
Christiano szerint a fejlesztőlaborok biztonsága nem elég erős. Ha a rendszereket megépítik, de a telepítést biztonsági okokból késleltetnék, a súlyok vagy a fejlesztési technikák kiszivároghatnak vagy ellophatók. Ez a lassítást is nehezíti, mert a versenytársak a titkos információkhoz juthatnak hozzá.
A kutató szerint a fejlesztés egyre inkább automatizálódik, és ez gyorsítja az AI-kutatás-fejlesztést. Patel szerint Christiano úgy becsüli, hogy a jelenlegi pályán egy éven belül az esély egyharmad a kormányt megdönteni képes szuperintelligencia megjelenésére.
Javaslat: szünet a frontier fejlesztésben
Christiano a frontier AI algoritmikus fejlesztésének szüneteltetését javasolja mindaddig, amíg a biztonság és az összehangolás fel nem zárkózik. Mowshowitz szerint a gyorsaság meglepte még azokat is, akik eleve gyors fejlődésre számítottak. Christiano a Dwarkesh Patel-interjúban fejtette ki ezt a javaslatot.