Új robotikai AI-modellt dob piacra a Black Forest Labs

A FLUX 3 Action a korábbi, multimodális FLUX 3 modellen alapul, amelyet főként videó-, de kép- és hangadatokon is betanítottak. A BFL közlése szerint a modell kevesebb mint fele akkora, mint az előző legjobb nyílt modell, miközben akár 3,95-ször gyorsabban fut. (The Decoder)

Hatékonyság és hardveres teljesítmény

Ez a hatékonyság kritikus fontosságú a robotok fedélzeti (on-device) bevetéséhez, mivel a nagy méretű, komplex feladatokat végrehajtó modellek gyakran túl lassúak és túl nagyok a robotok számára. A RoboLab-120 ranglistán a FLUX 3 Action 42,92%-os sikerrátával végzett az élen, ami 6,1 százalékponttal magasabb, mint a 16 milliárd paraméteres Cosmos 3 Nano modell eredménye, miközben 56%-kal kevesebb paramétert használ.

Elérhetőség és licencelés

Valós hardveres teszteken, egy Franka robotkarral végzett kiértékelésen a FLUX 3 Action 30 próbálkozásból 28-at teljesített (93,3%), míg a Cosmos 3 Nano 27-et. A modell architektúrája a multimodális FLUX 3 alapra épül, és a betanítás során több mint 95%-ban videóadatokat használtak fel. A szöveges utasításokat, videókat és robotállapotokat tokenekké kódolják. A BFL három különböző változatban teszi elérhetővé a modellt, BF16 és FP8 kvantálással is.

A DROID policy nagyjából 32 GB GPU-memóriát igényel BF16-ben egy H200-ason, de FP8 kvantálással 24 GB-os kártyákra is elfér. A FLUX 3 Action a Hugging Face-en érhető el, a FLUX Kommunity License pedig nem kereskedelmi célú használatot engedélyez. A BFL szerint a modellnek potenciált látnak digitális környezetekben is, például videójátékokban, ahol navigációra és számítógépeket kezelő, gyorsan reagáló ügynökök működtetésére használható. A FLUX 3 Action a Hugging Face-en érhető el.