Polimorf inferenciát nyújt a Together Compiler

A Together AI bejelentette a Together Compiler nevű új rendszert, amely a világ első termelési szintű rekurzív önfejlesztő (RSI) inferencia-rendszerként működik — írja a Together AI Blog.

Polimorf inferencia koncepciója

A Polymorphic Inference a modell- és hardver-változásokra reagáló, alakot változtató inferencia-módszer, amelyre a gyorsan növekvő nyílt forráskódú modellkínálat, a változó terhelési minták és a gyorsan fejlődő hardverplatformok (B200 → GB300, közelgő Vera Rubin chip) egyaránt szükségszerűen hatnak. Jelenleg 40 + modellt választottak ki a termeléshez, és a forgalom 80 %-a az OpenRouteren az elmúlt három hónapban megjelenő modellekhez irányul.

AI-agentek és folyamatos fordítás

Az új rendszer AI-agentekből álló szárnyas csapatot használ, amelyek a Continuous Compilation (folyamatos fordítás) keretében folyamatosan finomhangolják az inferencia-konfigurációkat. A kutatócsapat, amely a FlashAttention, a ThunderKittens és a ThunderAgent mögött áll, több hónapnyi fejlesztés után már a legnépszerűbb szerver-nélküli végpontokon üzemelteti a megoldást, ahol további teljesítményjavulásokat ér el a már optimalizált kódon felül.

A Together Compiler minden Together AI végponton elérhető, mind a díjmentes, mind a prémium felhasználók számára, és már ma termelési környezetben működik. A rendszer automatikusan alkalmazkodik a változó modellarchitektúrákhoz, terhelési formákhoz és új hardverplatformokhoz, így a felhasználók stabil, közel a hardver-határokhoz közeli teljesítményt kapnak.

A következő frissítés a Vera Rubin chip támogatását célozza, amely a hardver-szegmens újabb gyorsulását ígéri, miközben a GB300-as platformra épülő optimalizációk már most is elérhetők a termelésben.