A Databricks 70%-kal csökkentette az AI-kódolási költségeket nyílt forráskódú modellekkel

A Databricks, valamint a Stripe, Coinbase, Uber és Ramp digitális vállalatok tapasztalatai alapján bemutatott költségkezelési technikák bizonyítottnak bizonyultak. A vállalatoknak sikerült megoldaniuk a skálázott AI-bevezetés exponenciálisan növekvő költségeiből adódó kihívást, biztosítva a széles körű AI-eszköz-hozzáférést minimális súrlódással, miközben a költségeket felhasználónként fix kereten belül tartják. (Hacker News)

Az „Efficiency Frontier” a kódolási modellekben

A legjelentősebb költségcsökkentési lehetőség az új, hatékonyabb modellek gyors adoptálásában rejlik. A „frontier modellek” a csúcsteljesítményt célozzák, de az AI skálázott bevezetésénél az „efficiency frontier” – azaz a legjobb ár-teljesítmény arányt kínáló modellek halmaza – válik fontossá. A legtöbb napi kódolási feladat nem igényel csúcskategóriás intelligenciát, így az aggregált költségeknél az elfogadható minőségi szintet hozó modellek ára a meghatározó. Ez az „efficiency frontier” gyorsabban fejlődik, mint az intelligencia határ, új modellek jelennek meg szinte hetente.

Nyílt forráskódú és alacsonyabb költségű modellek

Az új, hatékonyabb modellek gyors adaptálása hozza a legnagyobb költségnyereséget. A Databricks saját benchmarkja szerint a GLM modellek kiemelkedő ár-teljesítmény arányt kínálnak, ami belső bevezetésükhöz vezetett. Más cégek, mint a Stripe, tapasztalták, hogy az Opus 4.7 nem javított érdemben a minőségen az Opus 4.6-hoz képest, miközben drágább volt, így nem vezették be belsőleg.

Harness és modell rugalmasság

Mivel az új modellekre való váltás hozza a legnagyobb nyereséget, a modellfüggetlenséget biztosító eszközök kulcsfontosságúak. A Databricks az Omnigent meta-harness-t és a Unity AI Gateway-t nyílt forráskódúként tette elérhetővé, hogy segítse más cégeket a költségek kezelésében. Ez a megközelítés lehetővé teszi a modell- és harness-függetlenséget, miközben csökkenti a fejlesztői átállási költségeket.

Dinamikus kérés- és feladatútvonal-választás

Az automatikus modell- és eszközválasztás tovább növelheti a hatékonyságot az AI-kódolási munkafolyamatokban. A kérés szintű útvonalválasztás (Request Level Routing) egy proxy segítségével a legolcsóbb, de a feladatot elvégezni képes modellhez irányítja a kéréseket. A feladat szintű útvonalválasztás (Task Level Routing), mint az Omnigent, a feladat komplexitása alapján delegálja azt a megfelelő modellnek. A Databricks Unity AI Gateway-ben található Smart Routing funkció is ezt a megközelítést alkalmazza, hasonlóan a Cursor Router és az OpenRouter AutoRouter megoldásaihoz.

A Databricks belső felmérése szerint az AI-kódolási kiadások 70%-os csökkentése érhető el ezekkel a módszerekkel. A cég a nyílt forráskódú GLM modellek bevezetésével és az Omnigent, valamint a Unity AI Gateway eszközök ingyenes elérhetővé tételével kívánja segíteni a többi vállalatot a költségek optimalizálásában.