Amazon 1,8 millió dollárt égetett el egy hibás AI-projekten

Az Amazon belső adatai szerint a mesterséges intelligencia (AI) triviális hibákat is hét számjegyű veszteséggé tud változtatni. Az egyik legrosszabb esetben az Anthropic Claude modelljét használták szerződési rekordok terméklistákhoz való illesztésére az Amazon áruházában. A projekt 860%-kal lépte túl a költségvetést, öt hónapba telt a hiba felismerése, és a bevezetés végül kudarcba fulladt — írja a Financial Times. (TNW)

Két kisebb tévedés is napvilágot látott: egy pénzügyi könyvelési eszköz körülbelül 541 000 dollárral lépte túl a keretet, míg egy szállítási sebességet gyorsító rendszer 134 000 dollárral lett drágább. Ezek olyan hibák, amelyek korábban szinte semmibe sem kerültek.

A probléma gyökere az árazási modellben rejlik. Míg egy ember által írt hibás kód leállítja a rendszert, egy rosszul konfigurált AI-modell csendben fut tovább, és folyamatosan számláz. Egy újrapróbálkozó hurok vagy egy teljes katalógusra irányított feladat nem okoz összeomlást, csak növeli a számlát. A per-token alapú árazás tovább ront a helyzeten, különösen az AI-agensek esetében, amelyek jóval több tokent használnak, mint egy chatbot.

Ez a probléma nem egyedi az Amazonra nézve; más fejlesztők is hasonlóan jártak, egy esetben 1,3 millió dolláros OpenAI-számlát generálva. Az AWS éppen azokat az eszközöket kínálja, amelyek segíthetnek megelőzni az ilyen túlköltekezést, mint például a kedvezőbb árú batch inference, a „Flex” előfizetési szint, a prompt caching vagy a prompt routing, amely az egyszerűbb feladatokat olcsóbb modellekre irányítja. Az Amazon azonban a legfejlettebb modelleket választotta alapértelmezetten, és nem alkalmazta a biztonsági korlátokat.

Az Amazon szóvivője szerint „mint minden új technológiánál, kísérletezünk, tanulunk és javítjuk a használatát”, hozzátéve, hogy ezek elszigetelt esetek, és nem tükrözik a csapatok általános munkáját. A cég ugyanakkor eltávolított egy belső ranglistát, amely az AI-használat alapján pontozta a munkatársakat, miután sokan túlfújták a tokenfogyasztásukat. Jelenleg automatizált biztonsági korlátokat építenek, amelyek megakadályozzák a projektek túlköltekezését. A tanulság inkább kormányzási, mintsem pénzügyi jellegű: míg a 1,8 millió dollár az Amazon számára elenyésző összeg, sok kisebb cég számára egy ilyen váratlanul megnövekedett költségválságot jelenthet.