AI-költségeket kontrollálja a Glean modellválasztó rendszere

A Glean tavaly júniusban 150 millió dolláros Series F befektetési körrel 7,2 milliárd dollárra értékelték. A cég célja, hogy az alkalmazottak számára „egy igazán erőteljes személyi munkatársat” biztosítson, amihez a vezető LLM-ek meta-hámjaként működik. (Latent Space)

Modellválasztás és költséghatékonyság

A Glean Assistant harmadik generációja, amelyet tavaly szeptemberben jelentettek be, a ChatGPT, Claude, Gemini és Grok képességeit egyesíti egyetlen élményben. A cég üzleti modellje mélyen megérti az ügyfelek adatait és a vállalaton belüli munkavégzés módját. A modellválasztás három szinten történik: a felhasználók explicit módon választhatnak modellt, az adminisztrátorok korlátozhatják a modelleket vagy használati limiteket szabhatnak, illetve a Glean automatikus módja dinamikusan választ modellt minden feladathoz.

Az automatikus mód kiválasztása elsősorban gazdasági okokból történik, mivel a Glean állítása szerint 4-szer költséghatékonyabb, mint a Claude Code, átlagosan 0,45 dollár per feladat szemben a Claude Cowork 1,84 dollárjával. Az olyan fejlett modellek, mint az Opus vagy a legújabb GPT-verziók, tokenenként drágábbak, néha megduplázva vagy megnégyszerezve a korábbi árakat. Emellett a felhasználók hosszabb feladatokat futtatnak, ami a felhasználónkénti költségeket az előző évhez képest 10-20-szorosára növeli.

Waldo modell és nyílt forrású trendek

A Glean megfigyelheti, hogyan használják az üzleti felhasználók az AI-t, mivel a termék „munkatárs” szerepet tölt be, és lehetővé teszi ügynökök építését a különböző osztályokon. Az ügyfelek, mint a Zillow, 80%-os bevezetést jelentettek 7000 alkalmazott körében. Ez a széleskörű behatolás lehetővé teszi a Glean számára, hogy megfigyelje, mikor elégedetlenek a felhasználók egy modellel, és mikor váltanak át egy másikra, ami jobb eredményeket ad. Ez a nagyméretű emberi visszajelzési hurok segít javítani a modellválasztó rendszert.

A Glean architektúrájának része a Waldo nevű modell, amely az LLM-ek tetején ül. A Waldo, amelyet áprilisban vezettek be, „a Glean első ügynöki keresési modellje”. A Glean állítása szerint a Waldo 50%-kal csökkenti a késleltetést és 25%-kal a tokeneket, a fejlett modelleket pedig azokra a munkákra tartja fenn, amelyekre szükségük van. Ez azt jelenti, hogy a modellválasztás akkor történik, miután a Glean meghatározta a feladathoz szükséges „alapanyagokat”, anélkül, hogy LLM tokeneket égetne el.

Jain megerősítette, hogy jelentős az érdeklődés a nyílt súlyú modellek iránt, elsősorban költségokok miatt. Az elmúlt hónapokban az AI-költségek drasztikus növekedése miatt a vállalkozások fenntarthatatlannak találták AI-befektetéseiket. Mivel a nyílt forráskódú modellek nagyságrendekkel olcsóbbak, nagy érdeklődés mutatkozik irántuk. A legtöbb vállalat ma már kulcsfontosságú részének tekinti a nyílt forráskódú modelleket AI-stratégiájában. Senki sem akar már csak egy vagy két modell-szolgáltatóra támaszkodni, és senki sem gondolja, hogy nyílt forrás nélkül túlélhet.