GPT 6.1 Terra előzi a Claude Fable 5.1-et az új Artificial Analysis ranglistán
Az AA v5 intelligencia-index négyen egyenlő 25%-os súllyal értékeli a modelleket, köztük a tudásmunka és a kódolás kategóriákat – a súlyok részletei a blogbejegyzésben olvashatók.
Az Artificial Analysis index a legkiemelkedőbb független mérőszám a legújabb frontier modellek számára, a második helyen pedig az Epoch AI Capabilities Index (ECI) áll — írja az Interconnects.
Súlyozási struktúra
Az új v5 verzió négy egyenlő részre osztja a súlyokat: a tudásmunka, a kódolás, a tudomány és az általános kategóriák mindegyike 25%-ot kap. A tudásmunka alá az AA-Briefcase 15-et, az AutomationBench-AA 5-öt és a GDP.pdf 5-öt sorolnak. A kódolásban a FrontierCode 2.0 15-et, a Terminal-Bench 4.0 10-et kap. A tudomány területén a Terminal-Bench-Science 15-et, a CritPt v2 hard subset 10-et kap. Az általános kategóriában az AA-Omniscience v1.1 15-et (10 % pontosság, 5 % non-hallucination) és a HLE-Diamond 10-et tartalmaz.
Rangsor és modellösszehasonlítás
A friss ranglistán a GPT 6.1 Terra előzi a Claude Fable 5.1-et, ami a legmagasabb helyezést jelenti a nyílt és zárt modellek között. A diagram szerint nyolc zárt modell is felülmúlja a legjobb nyílt-súlyú Kimi K3.1 Pro-t, amelyik nem kék színnel jelenik. A kódolási feladatokban a nyílt modellek versenyképesek, míg a tudományos értékelésekben, például a Terminal-Bench-Science és a CritPt v2 esetében jelentős elmaradás mutatkozik.
Piaci hatás
A teljesítményteszt-eredmények becslés szerint a billió dolláros AI-ökoszisztéma győzteseit és veszteseit is meghatározzák – a modellek fejlesztésének irányát is befolyásolják. A szerző szerint a jelenlegi szinguláris intelligencia-indexek hosszú távon háttérbe szorulhatnak, de a változás lassú lesz.
Kihívások és kilátások
A valós felhasználás mérésének nehézségei egyre élesebbé válnak, a benchmarkek így „szaggatottak” maradnak. A szerző úgy látja, hogy a következő modellciklus 2–3 hónapon belül indulhat a GLM 6 vagy a Kimi 3.5 verzióval, ekkor a nyílt modell-laborok várhatóan jelentős előrelépéseket tesznek az indexen. A következő modellciklus 2–3 hónapon belül indulhat a GLM 6 vagy a Kimi 3.5 verzióval.