Tízezreket pazarolt el az AI-ra a Rippling — új eszközzel kontrollálják a kiadásokat
A HR-szoftvereket fejlesztő Rippling bemutatta az AI Spend Console-t, amellyel a cégek követhetik és kontrollálhatják AI-kiadásaikat, miután saját költéseik elszálltak.
A cég kutatás-fejlesztési (K+F) költségvetésének 40%-át emésztették fel az AI-tokenek, ami több millió dollárt jelentett, és a kiadások havonta 80%-kal nőttek. Ha ez a tendencia folytatódott volna, a következő évben szinte annyit költenének AI-tokenekre, mint a K+F egység alkalmazottainak bérére. (TechCrunch)
A költségek forrása és a szolgáltatók érdeke
A vezetőség azonnali „sürgős” projektet indított a kiadások megértésére. Az elemzés során kiderült, hogy az alkalmazottak nagyjából 10–15%-a generálta a teljes AI-költség körülbelül 60%-át, egy mérnök havonta akár 50 000 dollárt is költhetett. A cég először a használt eszközökkel, köztük a Cursorral, az OpenAI-jal és az Anthropic-kal tárgyalt maximális kiadási sapkákról, de gyorsan nyilvánvalóvá vált, hogy az alkalmazottak alapértelmezetten a legújabb és legdrágább modelleket használták. Matt MacInnis termékvezető szerint az ilyen szolgáltatóknak nincs érdekük abban, hogy segítsenek a kiadások kontrollálásában.
Modellek összehasonlítása és hatékonyság
A Rippling saját benchmarkjai alapján a SpaceX Grok modellje volt a legjobb általános vezető, de a Z.ai GLM 5.2 modellje 85%-kal olcsóbb volt, szinte azonos teljesítménnyel. A cég ezért megépítette saját AI-átjáróját, amely a feladathoz leginkább költséghatékony modellt választja ki, és ezt az eszközt integrálta termékeibe. Az AI Spend Console műszerfalai pontozzák a napi lekérdezések számát, a munka kimenetelét és a költségeket. Ezzel a megoldással a Rippling állítása szerint 40%-ról körülbelül 15%-ra csökkentette a tokenekre fordított kiadásait.
A technológiai megoldások mellett a cég „AI-kapitányokat” nevezett ki, akik segítik a többi alkalmazottat az AI hatékony használatában. A vállalat jelenleg dolgozik az ügyfél-onboarding csapatok számára történő automatizáláson is, hogy mérni tudják a termelékenységet az ügyfelek bevonásában. Az AI Spend Console a Rippling HR-előfizetői számára elérhető, de különálló termékként is megvásárolható, és a szolgáltatás használatával a Rippling júliusban 600 milliárd tokent használt, miközben a költsége 37%-kal alacsonyabb volt, mint áprilisban.