Mérhető megtérülést ígér az AI-költségeknél a Microsoft Foundry

A Microsoft megbízásából készült IDC tanulmány szerint, amelyben több mint 4000 üzleti vezető vett részt, 71% tervezte AI-költségvetésének növelését 2025-re. Ez azt mutatja, hogy a vállalatok egyre nagyobb összegeket fektetnek az AI-ba, de a költségek növekedésével együtt nő a pénzügyi fegyelem iránti igény is. (Azure Blog)

Az AI-költségek megértése

Az AI-költségek nem csupán a választott modelltől függnek, hanem az azt körülvevő alkalmazástól vagy ügynöktől is. Minden kérés magában foglalja a bemeneti tokeneket (például rendszerüzenetek, beszélgetési előzmények, eszközdefiníciók) és a modell által generált kimeneti tokeneket. Mivel a modellek állapotmentesek, a teljes kontextus minden kérésnél elküldésre kerül, ami növelheti a költségeket még egyszerűbb kérések esetén is.

Ügynökök és a költségek összetettsége

Az ügynökök további bonyolultságot jelentenek. Egyetlen felhasználói kérés több modellhívást is generálhat, mivel az ügynök értékelheti az opciókat, újra próbálkozhat, vagy több eszközt is hívhat a válasz előtt. Ezért az ügynökök munkafolyamatának kialakítása legalább olyan fontos, mint a modell kiválasztása.

Költségátláthatóság és optimalizálás

Az AI-kiadások nehezen kezelhetők, ha csak egyetlen összesített számként jelennek meg. A csapatoknak szükségük van az alkalmazásonkénti, ügynökönkénti, munkafolyamatonkénti és modellenkénti költségátláthatóságra. Az optimalizálás túlmutat az olcsóbb modellek kiválasztásán; magában foglalja a kérések megfelelő modellekhez illesztését, a felesleges kontextus csökkentését, az eszközhasználat korlátozását és az ügynökök hatékonyabbá tételét.

FinOps az AI-hoz

A FinOps (Financial Operations) a felhőkiadások pénzügyi elszámoltathatóságának discipline-je. Az AI FinOps négy fő elkötelezettségen alapul: kiszámíthatóság, hatékonyság, optimalizált skálázás és igazolt érték. A Microsoft Foundry integrált megközelítést kínál a FinOps for AI-hoz, amely lefedi a teljes életciklust: tervezés, építés, kezelés és mérés.

A Microsoft Agent 365 kiterjeszti ezt a discipline-t a teljes tenantra, egységesítve az ügynökök költségkezelését a Microsoft és harmadik féltől származó platformokon keresztül, költési szabályokkal, költségvetési sapkákkal és osztályok közötti elszámolással egy helyen.