Az AI gyorsabban fejlődik, mint ahogy a szakértők biztonságát ellenőrizni tudják
Az METR figyelmeztetése szerint a jelenlegi nyilvános adatok nem zárják ki a drasztikus gyorsulást az AI-kutatásban az elkövetkező néhány évben.

Az AI-modellek gyorsan javulnak az AI-kutatási feladatokban, és egyre nehezebb őket mérni. Az METR kutatószervezet szerint a jelenlegi nyilvános adatok nem elegendők ahhoz, hogy kizárják a kutatás drasztikus felgyorsulását a következő néhány évben. Ez odáig vezethet, hogy az emberek már nem lesznek képesek értelmesen felmérni és reagálni az új AI-rendszerek katasztrofális kockázataira, írja a The Decoder.
Jól definiált kódolási és számítási feladatokon, ahol közvetlen visszajelzés van, a modellek a legtöbb esetben már felülmúlják a tapasztalt szakembereket. Az METR szerint viszont még nem múlták felül a legjobb szakértőkből álló nagyobb csoportokat.
Feladathossz és extrapoláció
Az emberek számára hosszabb ideig tartó feladatoknál a modellek által kezelhető feladathossz 3,6 havonta duplázódik. Az METR adatainak naiv extrapolációja szerint 2027 júliusára a modellek elérhetik az 50 százalékos sikerarányt a leghosszabb, 200 órás feladatokon. Ez azonban becslés, nem megerősített előrejelzés.
Az METR elemzése szerint a vezető modellek képességei folyamatosan nőnek, az Opus 5.5-től a GPT-6 Astráig.
Hol botlanak még a modellek
A rendszerek még mindig küzdenek a nyitott kérdésekkel, amelyekhez nincs azonnali visszajelzés és valódi ítélőképességre van szükség, valamint olyan helyzetekkel, amelyeket nehéz a tanításhoz újrateremteni. Az METR szerint a gyakori, könnyen futtatható tesztek túlbecsülhetik a valós teljesítményt, mivel a fejlesztők nagyon hasonló tesztkörnyezetben tanítják a modelleket. A szervezet szerint ez a torzítás a 3,6 havonkénti duplázódási ütem értelmezésénél is figyelembe veendő.