ÉlőUtoljára: 4 perceMa: 7
Kutatásfrissítve: 07:16

Gyorsan javul az AI a kódolásban, de az ítélőképességet igénylő feladatokban lemarad

Az METR új jelentése szerint egyes AI-képességek továbbra is exponenciálisan javulnak, de a modellek az ítélőképességet igénylő feladatokban még jócskán elmaradnak az embertől.

Gyorsan javul az AI a kódolásban, de az ítélőképességet igénylő feladatokban lemarad
Fotó: Luke Chesser / Unsplash
forrás: MIT Technology Review·AI Forradalom szerk.·
Megosztás

Az AI-értékelő nonprofit METR új jelentése szerint egyes képességek továbbra is exponenciális ütemben fejlődnek, miközben a modellek az ítélőképességet igénylő feladatokban gyengébbek, mint a kódolásban. A jelentés a szervezet időhorizont-grafikonjának frissítése, amelyet korábban széles körben megosztottak, és a bonyolult mérési módszer miatt gyakran félreértettek. (MIT Technology Review)

Mit mér a grafikon

Az METR úgy értékelte a modelleket, hogy egy nagy feladatsort kellett megoldaniuk, amelyeket emberek is elvégeztek. Minden feladat nehézségét az határozta meg, mennyi időbe telt az embereknek, a modellek pedig aszerint kaptak besorolást, hogy milyen hosszú feladatokat tudnak sikeresen megoldani. Az eredeti ábra szerint a fejlett modellek által sikeresen megoldható feladatok hossza négyhónaponként megduplázódott.

A frissített grafikon több feladatot tartalmaz, köztük olyanokat, amelyeket az emberek jóval hosszabb ideig oldanának meg, és olyanokat is, amelyek nyitottabbak. Az METR munkatársai arra törekedtek, hogy a feladatsor a nehezebben megítélhető, ítélőképességet igénylő példákat is tartalmazza, mert ezek lehetnek a legfontosabbak az AI-kutatás-fejlesztés szempontjából.

Ahol a modellek elmaradnak

Az egyik feladatban a modelleknek új AI-értékeléseket kellett tervezniük, amelyeket az METR a kutatásaihoz használhatna. Az emberi munkatársak ezeket pontozták. Bár a legfejlettebb modellek már szinte minden embernél jobbak a szoftverfejlesztésben, egyetlen AI által tervezett értékelés sem volt elég jó ahhoz, hogy az METR munkatársai hasznosnak ítéljék a kutatásukhoz.

Egy másik feladatban filozófiai érvelések pontozása volt a cél. Ez az ítélőképesség mérésére szolgál, az METR szerint azonban a munkatársak nem értenek egyet abban, mennyire releváns ez az AI-kutatás-fejlesztés automatizálása szempontjából. Ezen a feladaton is az emberi teljesítmény alatt maradtak a modellek.

Sayash Kapoor, az UC Berkeley számítástudományi kutatója, a kutatás új irányát üdvözölte. „Eljutottunk arra a pontra, ahol az AI-értékelésnek kreatívabbnak kell lennie” – mondta. Kapoor szerint nem lepte meg, hogy a modellek a nyitottabb feladatokban gyengébbek, hiszen korábbi munkájában azt találták, hogy a mesterséges intelligencia még nem képes önállóan reprodukálni az emberi számítástudományi kutatásokat.

Javulás a bizonytalanság ellenére

A jelentés szerint az újabb modellek, például az Opus 5.5, a feladatokon „határesetben a mérce felett” teljesítenek. Ez még nem elegendő az METR kutatásaihoz, de ígéretes. Egy évvel korábban minden modell az „egyértelműen a mérce alatt” kategóriába tartozott. Najoung Kim, a Boston University nyelvész és számítástudós kutatója szerint a javulás „valamit elárul a jelenlegi helyzetről”, azt viszont még nem lehet tudni, hogyan folytatódik.

Matt Putz, az METR munkatársa szerint a nehezen ellenőrizhető feladatok fejlődését nehéz lesz előre jelezni, mert ezeket sokkal nehezebb vizsgálni és mérni. Az METR emellett a feladatok emberi befejezési idejét nagyrészt becsléssel adja meg, mert a több száz órás vagy csak néhány szakértő által megoldható feladatok kifizetése túl drága és lassú lenne. Az egyik filozófiai feladatot például mindössze egyetlen személy pontozta, a jelentés pedig azt méri, mennyire értenek egyet vele a modellek.

A kutatók egyetértenek abban, hogy az ilyen feladatok bevonása az METR időhorizont-grafikonjába helyes lépés, de a validálás és a pontozás még messze nincs megoldva. Az eredmények értelmezése is bizonytalan marad, különösen addig, amíg nem derül ki, hogy az ítélőképességben mutatott gyengeség átterjed-e az AI-kutatás-fejlesztés automatizálására. A jelentés az Opus 5.5 teljesítményét említi, a többi modell neve pedig a forrásszövegben nem szerepel.

Forrás

Feldolgozott sajtóforrás·MIT Technology Review

Eredeti cikk megnyitása →

Ez a cikk a fenti sajtóforrás alapján készült AI-összefoglalóval.

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

☕ Támogatom