GPT-6-Astra 98% pontossággal oldja meg a fizikai teljesítménytesztet
98 % pontossággal oldotta meg a TheoPhysEval teszt 50 problémáját az OpenAI GPT-6-Astra, átlagosan 2,40 $ költséggel egy feladatra, a teljes futtatás összköltsége 116 $.
A teljesítményteszt felépítése
A TheoPhysEval teljesítményteszt 50, még publikálatlan, elméleti fizikai feladatot tartalmaz, amelyeket 35 kutató az International Centre for Theoretical Sciences, a Harvard University, a KU Leuven és a Google DeepMind közreműködésével állított össze — írja a The Decoder.
Teljesítmény és költségek
A GPT-6-Astra 49 helyes megoldást adott, ez 98 % pontosságot jelent, átlagosan 2,40 $ költséggel egy feladatra, a teljes teszt 116 $ alatt futott le.
Versenytársak
A második helyen az Anthropic Opus 5.5 állt 92 % pontossággal, a Google Gemini 3.8 Flash 68 %, a DeepSeek-V4.1-Flash 54 % és a GLM 5.3 42 %.
Következtetések és korlátok
A szerzők úgy értelmezik, hogy a vezető nyelvi modellek hatalmas részét memorizálták a fizikai irodalomnak, bár néhány referencia-megoldás hibákat rejtett, amelyeket a szakértők a teszt után javítottak.
Költségek és elérhetőség
Az OpenAI a Codex kódolókörnyezetben futtatja az Astra modellt, így a kutatók a felhőben, 2,40 $-es egységáron férhetnek hozzá a számítási kapacitáshoz, ami a hagyományos emberi szakértő napjának költségét jóval alacsonyabb szintre hozza.