A Together AI új platformja percek alatt futtat nyílt AI-modelleket

A Together AI bejelentette platformjának frissítését, amely lehetővé teszi a felhasználók számára, hogy nyílt forráskódú AI-modelleket futtassanak éles környezetben, teljes kontrollt gyakorolva a teljesítmény, a költségek és a minőség felett. A rendszert úgy tervezték, hogy a modellek percek alatt üzembe helyezhetőek legyenek, biztonságos kiadási mechanizmusokkal, mint a canary, blue-green és rolling update-ek, automatikus visszaállással, valamint A/B és shadow teszteléssel. Az autoskalálás egy vagy több régióban is elérhető.

A platform támogatja a gyártáskész (production-grade) kiadási folyamatokat, beleértve a többszörös kiadások futtatását egyetlen stabil végpont mögött, valamint a küszöbértékek alapján automatikusan visszaálló frissítéseket. A tesztelés valós forgalommal végezhető A/B és shadow teszteléssel, az autoskalálás pedig régiók vagy több régió között is működik. A Together AI szerint a nyílt forráskódú modellek minőségben már felveszik a versenyt a zárt modellekkel, miközben áruk töredékébe kerülnek.

Kapcsolódó: Baseten AI-cég finanszírozása

Gyártáskész kiadási folyamatok és tesztelés

A cég egyúttal bejelentette egy egyéni betanítási (custom training) béta verzió elindítását is. Ez magában foglalja a teljes súlyú (full-weight) és LoRA megerősítéses tanulást (reinforcement learning), valamint a felügyelt finomhangolást (supervised finomhangolás), amelyből közvetlenül üzembe helyezhető ellenőrzőpontok (checkpoints) hozhatók létre. A felhasználók kéréssel férhetnek hozzá ehhez a béta verzióhoz.

Kapcsolódó: Vállalati AI-használat növekedése

A Together AI platformja a kutatás és a modelloptimalizálás terén szerzett tapasztalatokat hasznosítja, miután havonta több mint 400 billió tokent szolgál ki. A rendszer célja, hogy a felhasználók ne építsenek fel saját infrastruktúrát az inference stack és a végpontkezeléshez, hanem egy kész megoldást kapjanak. A frissítés a kutatási, modelloptimalizálási és platformmérnöki csapatok előrelépéseit integrálja egyetlen szolgáltatásba, amely megkönnyíti, megbízhatóbbá és optimálisabbá teszi a nyílt forráskódú, licencelt zárt forráskódú és finomhangolt modellek futtatását éles környezetben.

Kapcsolódó: GPT-OSS Colabban

Egyéni betanítás és modellbehozatal

A platform lehetővé teszi a modellek behozatalát a Together saját modellplatformjáról, vagy saját nyílt forráskódú vagy finomhangolt modell feltöltését. A teljes modell súlyok vagy adapterek feltölthetők Hugging Face-ről, S3-ból vagy helyi gépről. A rendszer támogatja a modell életciklusának teljes folyamatát, a korai finomhangolástól az éles forgalmat kiszolgáló verziókig.

A hardvertípus, kvantálás, tenzorparallelizmus, spekulatív dekódolás és a kiszolgáló motor mind befolyásolják a munkafolyamat teljesítményét és gazdaságosságát. A Together bevezetési profiljai (telepítés profiles) előre tesztelt és optimalizált konfigurációkat kínálnak, így a felhasználók bevált beállításokkal indulhatnak. A platform lehetővé teszi a hardver kiválasztását és optimalizálási profilok beállítását, idővel pedig a késleltetés, átviteli sebesség vagy a kettő közötti egyensúly optimalizálását.

Kapcsolódó: OpenAI és Broadcom chipje

A nagyobb modellek esetében a rendszer indítási ideje gyakran a több száz gigabájt súly mozgatásával telik. A Together AI újratervezte a modell gyorsítótárazási és elosztási rétegét, így ezek a súlyok megoszthatók a flottán belül, és proaktívan előmelegíthetők. Belső tesztekben ez körülbelül négyszer gyorsabb meleg indításokat eredményezett több frontvonalbeli modell esetében. A platform lehetővé teszi a modellek futtatási helyének meghatározását, akár egy adott régióhoz rögzítve, akár rugalmasan hagyva a helymeghatározást.

Kapcsolódó: AI-projektek infrastruktúrája

A platform 2026. július 23-án jelent meg.