Valós idejű interaktív videóvilágokat hoz létre a Runway új modellje

A Runway bemutatta a GWM Worlds 2-t, egy kutatási előzetest, amely „valós idejű interaktív szimulációvá alakítja a nagy felbontású videó- és hanggenerálást”. A modell autoregresszív diffúziós technikát használ, ami azt jelenti, hogy idővel generál tartalmat. A WorldPrompt funkció lehetővé teszi a felhasználók számára, hogy rögzítsék a szimulált környezet egyes elemeit, beleértve az első képkockát, és időbélyegzett eseményeket hozzanak létre, amelyeket valós időben promptolhatnak. (Latent Space)

A Runway 5,3 milliárd dollárra értékelt cég, miután 2026 februárjában 315 millió dolláros befektetést szerzett. A GWM Worlds 2 mellett más projektek is léteznek a valós idejű interaktív világmodellek terén, mint például a Google DeepMind Genie 3, az Odyssey-2 Pro és a World Labs RTFM. Ezek a projektek azonban korlátokkal rendelkeznek, például a Genie 3 csak néhány percnyi folyamatos interakciót támogat.

A WorldPrompt működése

A WorldPrompt a GWM Worlds 2 egyik új funkciója, amely egyfajta vezérlőrétegként szolgál a karakterek, kamerák és a környezet számára. A funkció lehetővé teszi a felhasználók számára, hogy részletesen irányítsák a jelenet minden elemét, hasonlóan egy számítógépes játékhoz. Bár nem programozási nyelv, hanem promptolási mechanizmus, lehetővé teszi promptolható világok létrehozását videóval és hanggal szinkronban.

A modell megbízhatósága az akciók nehézségétől függ. A mozgással kapcsolatos utasítások általában megbízhatóan működnek, de a bonyolultabb kérések még hibázhatnak. A további betanítás és az adatok, illetve modellek skálázása javítja a követhetőséget.

Valós idejű futtathatóság

A GWM Worlds 2 valós idejű interaktív világokat streamel folyamatos 720p videóban 24 képkocka/másodperc (fps) sebességgel és 48 000 Hz-es hanggal. A Runway alap audio-video generáló modelljét finomhangolták a WorldPrompt formátumra, majd autoregresszíven tanították. Valós idejűvé a desztillációs módszerekkel tették, például nagyobb modellek kisebbekké desztillálásával vagy a diffúziós lépések számának csökkentésével.

A valós idejű generálás legnagyobb kihívása az autoregresszív modellek hibaccumulációja. Az előzőleg generált képkockák visszatáplálása hibákat halmozhat fel. Emellett a „végtelen generálások” kezelése és a hosszú távú memória is nyitott kutatási probléma.

A modellnek valósághű következményeket kell produkálnia a felhasználói cselekvésekre. A videómodellek és a világmodellek közötti különbség a kontrafaktuális generálásban rejlik. A komplex interakciók értékelése nehézkes, különösen több prompt, karakter és jelenet esetén. A Runway kutatása ezen a területen folytatódik.