Videóból tanulna a vizuális intelligenciát a Black Forest Labs új modellje
A Black Forest Labs a FLUX 3 modellt egyszerre tanítja képekből, videóból és hangból, mert szerintük a mozgás és a hang olyan tudást hordoz, amit egy álló kép nem ad meg.

A Black Forest Labs a FLUX 3-at egyszerre tanítja képekből, videóból és hangból – írja a Latent Space podcast egyik beszélgetése, amelyben Andreas Blattmann és Dustin Podell, a cég munkatársai mesélnek a fejlesztésről. A cég szerint a három jel együtt olyan tudást hordoz, amit egyenként nem lehet megszerezni.
Blattmann egy egyszerű példával magyarázza az elképzelést. Ha valaki labdát dob felénk, a kezünk már mozdul, mielőtt a labda odaérne, pedig a pályát nem tudnánk leírni. Ez a fajta tudás a vizuális intelligencia lényege. Egy kép megmutatja, hol van a labda, a videó azt, hogyan jutott oda, a becsapódás hangja pedig azt, mikor ért a tárgyhoz, akkor is, ha a kamera nem rögzítette az érintkezést.
Mit tanít a mozgó kamera?
Blattmann szerint a hagyományos kétdimenziós videó sok bizonyítékot tartalmaz arról, hogyan néznek ki a tárgyak más szögből. Ez azonban nem dönti el, hogy a modell „érti-e a fizikát” – erről a beszélgetésben maguk a vendégek sem értenek egyet. Mégis jobb próbának tartják, mint azt kérdezni, hogy egyetlen képkocka meggyőző-e.
Egy mérnöki példa is szerepel a beszélgetésben. Ha valaki minden képkockát külön élesít, az egyes képek szépnek tűnhetnek, lejátszáskor viszont a plusz részletek remegni kezdhetnek, mert a felskálázó minden kockánál kicsit másképp dönt. A Black Forest Labs videó-felskálázóját ugyanabból a FLUX 3 alapmodellből származtatja, hogy a kockák konzisztensek maradjanak.
Autoregresszió vagy diffúzió?
A beszélgetés egyik kérdése az volt, átveszi-e az autoregresszív megközelítés a képgenerálást. Blattmann mindkét oldal erősségét elismeri. Az autoregresszív modell egy tanítási példa összes tokenjéből egyszerre tanulhat, a diffúziós modellek pedig nagyon hosszú mintavételezési folyamatát néhány lépésre lehet tömöríteni. Hogy melyik előny számít többet, attól függ, a tanítás költsége vagy a kép generálásának várakozási ideje a fontosabb.
Podell egy korábbi kísérletet is leír a FLUX Kontext fejlesztéséből. Egy kutatótársával kis, kapcsolatokkal címkézett fényképhalmazt állítottak össze, és néhány órányi tanítás után a modell már logót tudott elhelyezni egy pólón. Ez még durva eredmény volt, de elég ahhoz, hogy a csapat további hónapokat szánjon az adatok és a modell fejlesztésére.
A beszélgetés egyik kedvenc felhasználói története szerint emberek régi, lepusztult családi fotókat töltöttek fel a FLUX-ba, visszaállították azokat, majd megmutatták a családtagjaiknak. Podell szerint ezt a felhasználást nem látta előre. A FLUX 3 bemutatója a Black Forest Labs szerint a videó és a hang együttes generálására is irányul, a részletes teljesítménymutatókat azonban a beszélgetés nem közli.