Az OpenAI új GPT-6 modelljei 87%-os pontossággal generálnak kódot 20 nyelven
Az OpenAI új GPT-6 modelljei, az Astra és a Luna, 87,4%-os átlagos pontossággal képesek kódot generálni 20 programozási nyelven, miközben akár 78%-kal csökkentik a költségeket.
A COBOL, Fortran és Visual Basic terén a GPT-6 Astra és Luna jelentős előrelépést hoznak, mivel ezek a nyelvek kritikus infrastruktúrákat támogatnak: az online bankrendszerek 40%-át, a hitelkártya-tranzakciók 80%-át és az ATM-forgalom 95%-át.
MultiLangBench eredmények és költségek
Az OpenAI két értékelést dolgozott ki: a MultiLangBench, amely 20 nyelven teszteli a modell képességét egy SQLite-kompatibilis adatbázismotor létrehozására, illetve egy COBOL-migrációs értékelést. A GPT-6 Astra 87,4%-os átlagos eredményt ért el a MultiLangBench-en, ami jelentős ugrás a GPT-5.6 Sol 26,8%-os teljesítményéhez képest. A GPT-6 Luna 40,3%-os eredményt produkált, miközben becslések szerint 78%-kal alacsonyabb API-költséggel működik.
A MultiLangBench során a modelleknek egy megadott nyelven kell felépíteniük egy SQLite-kompatibilis adatbázismotort. A GPT-6 Astra 19 nyelven érte el a 83%-ot meghaladó eredményt, a COBOL maradt a legnehezebb 72,1%-kal. A GPT-6 Luna átlagosan 0,77 dolláros mintaköltséggel dolgozott, szemben a GPT-5.6 Sol 3,48 dolláros költségével.
COBOL-migráció és elérhetőség
A COBOL-migrációs teszten a GPT-6.1 Sol 86,6%-os pontosságot ért el alacsony erőfeszítéssel, szemben a GPT-5.6 Sol 5,4%-os eredményével, mindezt 39%-kal alacsonyabb költségen. Magasabb erőfeszítés mellett a pontosság 97,9%-ra emelkedik.
Az átalakítás során a modelleknek C++, Java, Kotlin, Python vagy Rust nyelvre kell átírniuk a COBOL programokat, megőrizve az üzleti logikát és a specifikus viselkedést, mint a kerekítési szabályok.
Az OpenAI a MultiLangBench értékelési keretrendszert és tesztkészletet GitHubon teszi elérhetővé, lehetővé téve a fejlesztők számára a teljesítmény vizsgálatát és a hiányosságok azonosítását.