Valós idejű AI-videót streamel a Runway, másodpercek alatt reagál a parancsokra

A Runway kutatása szerint az AI-videók generálása valós idejű streameléssé alakítható, ahol a felhasználók a leírásukkal streamelhetnek videókat, ahelyett, hogy várakozniuk kellene a kész klipre. Ez a megközelítés jelentősen csökkenti a várakozási időt és a GPU-költségeket. (The Decoder)

A rendszer a GWM-1 nevű „General World Model”-re épül, amely képkockáról képkockára generál videót, és elfogadja a kamera mozgását, robotparancsokat vagy hangot vezérlőként. A valós idejű generálás csökkenti a késleltetést és a GPU-számítási költségeket, így olyan alkalmazások is gazdaságossá válnak, amelyek korábban nem voltak rentábilisak.

A kis vizuális hibák is nagy torzításokká növekedhetnek a videógenerálás során. A Runway ezt a problémát úgy orvosolja, hogy a modellt saját kimenetein tanítja, nem csak hibátlan bemeneteken, így megtanulja korrigálni saját eltéréseit ahelyett, hogy azokat felerősítené. A startup Decart hasonló megközelítést alkalmazott a MirageLSD modelljüknél.

A Runway szerint a valós idejű generálás a számítási terhet az edzésről a használatra helyezi át. A modellnek minden képkockát elég gyorsan kell előállítania a lejátszáshoz, miközben egyszerre több munkamenetet is kiszolgál. A Google Deepmind Genie 3 világmodellje percenként több percnyi interaktív világot tart konzisztensnek.

A cég az interaktív alkalmazásokat látja a legnagyobb hosszú távú felhasználási területnek az AI-generált médiában. Az oktatás, a játék és a robotika olyan videókat igényel, amelyek ugyanolyan gyorsan reagálnak, mint a néző. A robotok és az autonóm járművek viselkedésének értékelése is valós időben generálódó és azonnal reagáló környezeteket kíván meg.

A Runway korábban bemutatta a GWM Robotics nevű, a GWM-1 egy változatát, amely szintetikus képzési adatokat generál robotok számára. A Waymo is hasonló megközelítést alkalmaz a Waymo World Model rendszerével. Márciusban a Runway egy valós idejű modellt is bemutatott az Nvidia GTC konferenciáján, amely a Vera Rubin platformon fut, és célja, hogy 100 ezredmásodperc alatt elkészüljön az első képkocka.