A Mistral EU-adatfeldolgozást kínál, de korlátokkal és 10% felárral

Az új lehetőségekkel az ügyfelek az API-kéréseket európai (api.eu.mistral.ai) vagy amerikai (api.us.mistral.ai) szerverekre irányíthatják, így az adatok feldolgozása a kiválasztott régióban marad. Ez különösen fontos lehet olyan bankok, kormányzati ügynökségek és biztosítók számára, amelyeknek bizonyítaniuk kell, hogy az ügyféladatok soha nem hagyják el az EU-t. A rövidebb hálózati utak alacsonyabb késleltetést is eredményezhetnek. Az alapértelmezett végpontot használó ügyfeleknek nincs garanciájuk arra, hogy kérésük hol kerül feldolgozásra. (The Decoder)

Regionális korlátok és árak

A regionális adatfeldolgozás 10 százalékos felárat jelent a standard árakhoz képest. Azonban az olyan kiegészítő funkciók közül, mint az ügynökök (agents), kötegelt feldolgozás (batch processing) és fájlkezelés (file management), csak a funkcióhívás (function calling) működik a regionális végpontokkal. A modellválaszték is eltérő régiónként, az ügyfeleknek minden végpontot külön kell lekérdezniük, hogy megtudják, mely modellek érhetők el.

A cég nem erősítette meg, de valószínűsíthető, hogy az ügynökök és a kötegelt feldolgozás extra infrastruktúrát igényel, ami nem áll rendelkezésre a regionális címeken. Az EU-s adatfeldolgozás nem terjed ki a teljes platformra: a fiókbeállítások, API-kulcsok, számlázás és használati statisztikák továbbra is a kiválasztott régión kívül feldolgozhatók, és előfordulhatnak korlátozott, biztonságos adattovábbítások az EU-n kívüli alvállalkozókhoz.

Prioritási szint és harmadik féltől származó modellek

A Mistral emellett bevezette a Priority Tier nevű szolgáltatást, amely jelenleg nyílt béta verzióban érhető el. Ez egy gyorsított sávot kínál, ahol a fizető ügyfelek kérései előnyt élveznek a standard forgalommal szemben csúcsforgalom idején. A szolgáltatás garantált rendelkezésre állása 99,5%, ami havi nagyjából három és fél óra állásidőt engedélyez. A Priority Tier aktiválása a „service_tier” API paraméteren keresztül történik, az „auto” érték automatikusan a gyorsított sávba irányítja a kéréseket, ha kapacitás áll rendelkezésre.

Az egyénileg egyeztetett korlátok túllépése esetén a kérések nem hibát jeleznek, hanem visszazuhannak a standard feldolgozási szintre. A Mistral a standard ár 1,75-szeresét, azaz 75%-os felárat számít fel ezért a szolgáltatásért, de a prompt-gyorsítótár (prompt caching) kedvezményei továbbra is érvényesek, és ezeket először alkalmazzák, mielőtt a prioritási felárat hozzáadják. A Priority Tier nem önkiszolgáló, szerződéskötés szükséges a Mistral értékesítési csapatával.

A Mistral platformjára harmadik féltől származó nyílt modellek is felkerülnek, elsőként a kínai Z.ai GLM-5.2 modellje, amely a Mistral saját modelljeivel megegyező regionális szabályok és garanciák mellett fut. A szükséges számítási kapacitás finanszírozására a Mistral többéves vásárlási kötelezettségvállalásokat gyűjt a nagy ügyfelektől, európai számítási egységek (European Compute Units) csomagolásában.