Az OpenAI új API-ja 100–180 milliszekundumos válaszidőt kínál

A TypeSafe startup, melyet egy korábbi kutató alapított, nemrég 7,6 milliárd dolláros cégértékkel zárt egy befektetési kört Jev modelljével. A modell a mélytanulási modellek egy új kategóriáját hozta létre: képes gyorsan döntéseket hozni és értékelni azok megbízhatóságát. Fejlesztők felfedezték, hogy ezek a döntési modellek vagy Rendszer-1 modellek LLM-eket válthatnak ki munkafolyamataikban, gyorsabban és drámaian alacsonyabb költséggel. (TechCrunch)

Fejlesztési folyamat és sebesség

Nikunj Handa, az OpenAI API-termékvezetője szerint a csapatuk a Jev modellt látva „millió felhasználási esetet” azonosított. Sprintben fejlesztették ki saját verziójukat: nem külön kalibrált döntési modellt építettek, hanem a ChatGPT Lunát alakították át a sebesség és a költségcsökkentés érdekében. „A Decisions API nagy előnye a sebesség, ami egy-három másodpercről 100–180 milliszekundumra csökkenti a válaszidőt” — mondta Handa. Jövőbeli terveik között szerepelhet specifikus betanítás a modellek további javítására, de jelenleg a Luna végzi a feladatot.

Ügyféltesztek és teljesítmény

A szeptember 29-i fejlesztői napon bejelentett Decisions API csütörtöktől minden ügyfél számára elérhető. Az OpenAI új hang- és vizuális modalitásokat adott hozzá, és földrajzilag optimalizálta az erőforrásokat a globális késleltetés csökkentése érdekében.

A Box, Datadog, Ramp és Speak ügyfelek kezdeti tesztjeiben a mérnökök az API-t használták az OpenAI LLM-jeinek magasabb átviteli sebességű kiváltására. Andrew Hsu, a Speak nyelvi AI-tutorokat fejlesztő cég CTO-ja szerint a Decisions API lehetővé tette a válaszidő 1,4 másodpercről 0,13 másodpercre csökkentését. Az OpenAI a Dots hangsegéd válaszkészségének javítására is használta a terméket.

Nem tisztázott pontosan, mi tesz egy jó döntési modellt, de az optimalizálás intelligencia, költség, kalibráció és sebesség terén eltérő lehet munkaterhelésenként. A TypeSafe vezérigazgatója, Diogo Almeida bizalmatlan a benchmarkokkal szemben, de cége is közzétett rangsorokat legújabb Jev modelljével, amely képtámogatást és okos-ha utasításokat is tartalmaz.

Nyilvános teljesítménytesztek, mint az AIM System One Index és az Artificial Analysis Decision Index, a Liquid D1 Ultra és a Base Lab Elephant-1 modelleket részesítik előnyben. A legújabb Jev modell a hetedik és harmadik helyen versenyez mindkét indexen, míg az OpenAI Decisions Model a nyolcadik és tizennegyedik helyen áll. A TypeSafe ajánlatai azonban jelenleg a leggyakrabban lekérdezettek az OpenRouteren.

A legszórakoztatóbb Jev teljesítményteszt a JevMan, ahol a döntési modellek Pacmant játszanak; a legújabb Jev modell vezeti ezt a rangsort. Felix Wunderlich, az Opper AI növekedési vezetője szerint a klasszikus játék „érdekes teszt a folyamatos, gyors, nagy tétű döntések miatt”.

Ahol az OpenAI modellje előnyt élvezhet, az a multimodalitás: képbesorolásban a „Luna rendkívül erős és jobb kalibrációt mutatott” — mondta Handa, hozzátéve, hogy az ügyfelek rugalmasabb képi kimeneteket is szeretnének. Handa további sebességnövekedést lát új felhasználási esetekben: „El tudjuk érni ezt valami 60 milliszekundum környékére, és akkor elképzelhető egy API-hívás minden egyes képkockára egy videóban?”

Ahogy ezek az ajánlatok gyorsabbá és olcsóbbá válnak, várhatóan igazolják az elnevezésüket, egy közgazdász után, aki magyarázta, hogyan teszi egy erőforrás hatékonyabbá tételével annak használatát ubiquitássá. Vagy ahogy Handa látja, egyre bővülő „őrült használati esetek” tárulnak fel, amelyek rejtve voltak, amíg a döntési modellek fel nem fedezték őket. Andrew Hsu, a Speak CTO-ja szerint a Decisions API lehetővé tette a válaszidő 0,13 másodpercre csökkentését.