A TypeSafe AI Jevje szövegből számokat ad

A TypeSafe AI bemutatta a Jev modellt, amely az LLM-ek új kategóriáját képviseli, és amelyet a fejlesztők „döntésmodelleknek” neveznek. A Jev szöveges bemenetet fogad, de kimenetként lebegőpontos számokat ad vissza, amelyek kategóriákat, igen/nem válaszokat, értékeléseket és a hozzájuk kapcsolódó megbízhatósági pontszámokat jelölnek.

Árazási modell és sebesség

A TypeSafe AI szerint a Jev egy „határintelligencia funkcióhívás”: strukturálatlan bemenetből strukturált, valószínűségi döntéseket ad. A modell rendkívül gyors és olcsó. Míg a hagyományos LLM-eket a tokenek be- és kimenete alapján árazzák, a Jev csak a bemenetért számol fel díjat, a kimenet ingyenes. Az egymillió tokenre vetített bemeneti ár 0,042 dollár, ami még az OpenAI GPT-5 Nano 0,05 dolláros áránál is kedvezőbb.

Kérdésfajták és API-használat

A Jev képes szöveges vagy félig strukturált adatokkal kapcsolatos kérdések megválaszolására. A felhasználók egy „állapot” objektumot (string, stringek tömbje vagy név-érték párok) küldhetnek az API-nak, amely leírhat egy cikket, ügyfelet vagy bármilyen más rekordot. Ezt követően egy vagy több kérdést küldhetnek el vele, és minden kérdésre választ kapnak.

Háromféle kérdéstípus létezik: Igen/Nem kérdések („Noul” kérdések, a Bernoulli-eloszlásra utalva), amelyekre a modell 0 és 1 közötti lebegőpontos számot ad vissza a kijelentés igazságáról alkotott magabiztossági szintnek megfelelően. Választási kérdések, ahol a modell a megadott opciók közül választ ki egyet, bizalmi pontszámmal és valószínűségi eloszlással. Pontozási kérdések, ahol numerikus szinteket és leírásokat adnak meg, és a modell egy lebegőpontos pontszámot ad a tartományon belül.

A Jev API egyszerre képes egy dokumentumot és annyi kérdést befogadni, amennyi a kontextusablakba belefér. A kérdések párhuzamosan kerülnek kiértékelésre, így több kérdés elküldése hasonló időt vesz igénybe, mint egyetlené. A döntésmodell keretrendszer hasznos lehet besorolási feladatokhoz, mint például spam-detektálás, címkék javaslása, priorizálás és rangsorolás, valamint keresési eredmények újrarendezése.

A modell fekete doboz jellege aggályokat vet fel a magyarázhatóság és az elfogultság tekintetében. A szerző, Simon Willison óva int attól, hogy a Jev-et például álláspályázók rangsorolására használják, mivel a kapott számadatok elrejthetnek a modellekbe „sütött” elfogultságot. Egy kísérletben a Jev a San Francisco Bay Area városait rangsorolta „Jó város?” kérdésre, Cupertinót helyezve a lista élére, East Palo Altót pedig a legaljára.

A Jev olcsósága miatt a százas, vagy akár ezres nagyságrendű kísérleti utasítások futtatása mindössze néhány centbe kerül, ami hangsúlyozza a strukturált kísérletek fontosságát a hagyományos LLM-projektekhez képest is.