Writer 50%-kal csökkenti az AI-költségeket új modellel és optimalizált rendszerrel
Az új Palmyra X6 modell és a hozzá kapcsolódó rendszerfejlesztés akár 50%-kal csökkentheti a Writer ügyfeleinek alapfeladatokra fordított költségeit, miközben a komplex, több lépésből álló feladatokat is gyorsabban, kevesebb token felhasználásával végzi.
A Writer bemutatta új zászlóshajó modelljét, a Palmyra X6-ot, amely a Z.ai nyílt forráskódú GLM-5.2 modell alapú finomhangolása. A cég szerint az új rendszer alacsonyabb áron kínál bevetésre kész képességeket. A Writer becslései alapján az új modell és a cég saját harness infrastruktúrájának módosításai akár 50%-kal csökkenthetik az ügyfelek költségeit az alapfeladatoknál. (TechCrunch)
A modell mellett a Writer jelentős frissítéseket adott ki standard agentic harnesséhez is. Mindkét újítás csütörtöktől válik elérhetővé a Writer ügyfelei számára. „A vállalatok elege van abból, hogy a következő teljesítménytesztet kergetik” — mondta May Habib vezérigazgató a TechCrunchnak. „Állandó költségszintet akarnak, és úgy tűnik, ezt senki sem tudja szállítani.”
Az új megközelítés különösen a komplex, több lépésből álló feladatokra helyezi a hangsúlyt, amelyeket gyorsabban és kevesebb token felhasználásával hajtanak végre. A Writer a harness optimalizálását kulcsfontosságú tényezőnek tartja ennek megvalósításában. Egy nemrégiben publikált kutatási anyaguk is alátámasztja ezt az elgondolást, amelyben a harness hatékonyságának apró változásait tesztelték több különböző modellen.
Költségcsökkentés a harness révén
A kutatás kimutatta, hogy sok esetben a harness módosításai megbízhatóbbak voltak a költségek csökkentésében, mint magának a modellnek a kiválasztása, átlagosan 40%-os költségcsökkenést eredményezve a tesztelés során. „A harness az az egyetlen komponens, amelynek hatékonysága minden szervezet által futtatott modellre — jelenleg és a jövőben is — megsokszorozódik” — írták a kutatók.
Modellagnosztikus integráció és bizalmatlanság
A Writer ügyfelei számára az élmény továbbra is modellagnosztikus marad: a Palmyra X6 más Writer modellek mellett, vagy az Azure-on vagy Amazon Bedrockon keresztül importált külső modellekkel együtt futhat. Habib szerint a költségcsökkentési törekvés szélesebb körű bizalmatlanságot is szül a nagy AI-laborok felé, amelyeknek pénzügyi érdekük fűződik a tokenhasználat növeléséhez.
„A költségek robbanásszerű növekedése itt példátlan az ügyfelek számára, akárcsak az a mérték, amellyel a CIO-k feladják a laborokat” — mondta Habib, hozzátéve, hogy az AI-laborok „nem értik igazán, hogyan segítsenek egy vállalatnak hasznot húzni az AI-ból.”