ÉlőUtoljára: 4 perceMa: 6
Modellek & LLMfrissítve: 01:16

Videóból tanulna a vizuális intelligenciát a Black Forest Labs új modellje

A Black Forest Labs a FLUX 3 modellt egyszerre tanítja képekből, videóból és hangból, mert szerintük a mozgás és a hang olyan tudást hordoz, amit egy álló kép nem ad meg.

Videóból tanulna a vizuális intelligenciát a Black Forest Labs új modellje
Fotó: BoliviaInteligente / Unsplash
forrás: Latent Space·AI Forradalom szerk.·
Megosztás

A Black Forest Labs a FLUX 3-at egyszerre tanítja képekből, videóból és hangból – írja a Latent Space podcast egyik beszélgetése, amelyben Andreas Blattmann és Dustin Podell, a cég munkatársai mesélnek a fejlesztésről. A cég szerint a három jel együtt olyan tudást hordoz, amit egyenként nem lehet megszerezni.

Blattmann egy egyszerű példával magyarázza az elképzelést. Ha valaki labdát dob felénk, a kezünk már mozdul, mielőtt a labda odaérne, pedig a pályát nem tudnánk leírni. Ez a fajta tudás a vizuális intelligencia lényege. Egy kép megmutatja, hol van a labda, a videó azt, hogyan jutott oda, a becsapódás hangja pedig azt, mikor ért a tárgyhoz, akkor is, ha a kamera nem rögzítette az érintkezést.

Mit tanít a mozgó kamera?

Blattmann szerint a hagyományos kétdimenziós videó sok bizonyítékot tartalmaz arról, hogyan néznek ki a tárgyak más szögből. Ez azonban nem dönti el, hogy a modell „érti-e a fizikát” – erről a beszélgetésben maguk a vendégek sem értenek egyet. Mégis jobb próbának tartják, mint azt kérdezni, hogy egyetlen képkocka meggyőző-e.

Egy mérnöki példa is szerepel a beszélgetésben. Ha valaki minden képkockát külön élesít, az egyes képek szépnek tűnhetnek, lejátszáskor viszont a plusz részletek remegni kezdhetnek, mert a felskálázó minden kockánál kicsit másképp dönt. A Black Forest Labs videó-felskálázóját ugyanabból a FLUX 3 alapmodellből származtatja, hogy a kockák konzisztensek maradjanak.

Autoregresszió vagy diffúzió?

A beszélgetés egyik kérdése az volt, átveszi-e az autoregresszív megközelítés a képgenerálást. Blattmann mindkét oldal erősségét elismeri. Az autoregresszív modell egy tanítási példa összes tokenjéből egyszerre tanulhat, a diffúziós modellek pedig nagyon hosszú mintavételezési folyamatát néhány lépésre lehet tömöríteni. Hogy melyik előny számít többet, attól függ, a tanítás költsége vagy a kép generálásának várakozási ideje a fontosabb.

Podell egy korábbi kísérletet is leír a FLUX Kontext fejlesztéséből. Egy kutatótársával kis, kapcsolatokkal címkézett fényképhalmazt állítottak össze, és néhány órányi tanítás után a modell már logót tudott elhelyezni egy pólón. Ez még durva eredmény volt, de elég ahhoz, hogy a csapat további hónapokat szánjon az adatok és a modell fejlesztésére.

A beszélgetés egyik kedvenc felhasználói története szerint emberek régi, lepusztult családi fotókat töltöttek fel a FLUX-ba, visszaállították azokat, majd megmutatták a családtagjaiknak. Podell szerint ezt a felhasználást nem látta előre. A FLUX 3 bemutatója a Black Forest Labs szerint a videó és a hang együttes generálására is irányul, a részletes teljesítménymutatókat azonban a beszélgetés nem közli.

Forrás

Feldolgozott sajtóforrás·Latent Space

Eredeti cikk megnyitása →

Ez a cikk a fenti sajtóforrás alapján készült AI-összefoglalóval.

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

☕ Támogatom