Token-alapú árazás jelentősen növeli az AI-szolgáltatások költségeit

Az AI-szolgáltatások árazása gyökeresen megváltozik: a korábbi, sokszor veszteségvezetőként működő fix díjakat felváltja a token-alapú modell. A CoPilot felhasználói már most tapasztalják a token-alapú árazás okozta nehézségeket. (ZDNet AI)

Ez az új világ sok vállalati ügyfélnek a felhőszolgáltatások korai napjait juttatja eszébe, amikor is kiszámíthatatlan számlákkal és folyamatosan változó üzleti modellekkel kellett szembenézniük. A tokenek csendben standardizálják, hogyan alakítják át a kutatólaborok a szűkös GPU-kapacitást számlázható egységekké, hogyan mérik a vállalatok az AI-használatot, és hogyan árazzák újra termékeiket a szoftvergyártók.

Kapcsolódó: GitHub Copilot és áremelések

Mik azok az AI tokenek?

Ebben az új gazdasági környezetben a token az AI-munka alapvető egysége. J.R. Storment, a FinOps Foundation ügyvezető igazgatója szerint a tokenek „több szerepet töltenek be a modern gazdaságban, mint szinte bármely más árucikk”. A tokenek egyidejűleg az összes hardver, számítási kapacitás és adatközpont kimeneti egységei, azaz ahogy a laborok árazzák a be- és kimeneteket, és az az értékegység, amelyet a vállalatok pénzzé kívánnak tenni. Ez az absztrakció teszi vonzóvá a token-alapú modellt a nagy AI-laborok és a hyperscalerek számára, hiszen egyetlen egységben fejezhetik ki a különböző architektúrákon és telepítési topológiákon futó AI-szolgáltatások árát, jellemzően dollár per millió token egységben.

Kapcsolódó: Apple AI támogatás

A tokenek rejtett komplexitása

Az AI token egy szó vagy kifejezés legkisebb feldolgozható egysége egy nagy nyelvi modell (LLM) számára. Az angol nyelvben egy token nagyjából négy karakternek vagy háromnegyed szónak felel meg. A tokenek mögött azonban hatalmas komplexitás rejlik: a modell kiválasztása, a kvantálás, a gyorsítótár (caching) és az ügynökök (agents) használata mind befolyásolják a költségeket. A SAP FinOps csapata szerint a token-alapú fizetés rejtett komplexitása ellenére is kiszámíthatóságot ígér, amit a FinOps csapatoknak kell feltárniuk.

Kapcsolódó: AI-ügynökök és árazás

Az olcsó kísérletezés kora lejárt

A 2023-tól 2025 elejéig tartó időszakot a GPT-chatbotok olcsó kísérletezésének korszaka jellemezte. Az elmúlt 18 hónap azonban drasztikus változást hozott. A korábbi, korlátlan tokenhasználatot lehetővé tévő előfizetések helyett ma már a költséghatékonyság a legfontosabb. Storment szerint a kontextusablakok méretének növekedése (millió tokenig) és az ügynökök (agents) elterjedése robbanásszerűen növelte a tokenhasználatot, ami a korábbi havi néhány száz dolláros felhasználókat havi több tízezer dolláros költségekhez juttatta. Például egy korábbi 200 dolláros Anthropic csomag körülbelül 8000 dollár értékű Claude tokent adott, míg egy hasonló OpenAI csomag 14 000 dollár értékű Codex tokent kínált.

Kapcsolódó: Azure új adatközpontok

A szűkösség tartja fent az árakat

Bár a Moore-törvény és a hyperscale verseny csökkentené az árakat, a hardver- és energiahiány miatt a tokenárak stagnálnak vagy emelkednek. Intel vezérigazgatója szerint 2028 előtt nem várható érdemi enyhülés a GPU-ellátásban. A növekvő hardverárak és az új, fejlett modellek egyre magasabb költségei miatt a Jevons-paradoxon érvényesül: a csökkenő egységköltség mellett a teljes költség robbanásszerűen növekszik, ami a vállalatok felhőszámláit ismét az egekbe küldheti. A legfontosabb tényezővé az AI-érték mérése válik, mivel a tokenek mindenütt jelen vannak a szoftverekben és a globális tokengazdaságot hajtják.

Kapcsolódó: Google Cloud AI-chipek