A StreamVibe 10,7%-kal pontosabban segít videófeladatokban, Google-kutatás
A StreamVibe-VL 10,7%-kal javítja a válaszok időzítését és minőségét, a memóriarendszere pedig további 12,3%-os növekedést ér el a proaktív interakcióban.
A Stanford, az Oxford és több amerikai egyetem kutatói bemutatták a StreamVibe-ot, egy videóasszisztenst, amely önerőből dönti el, mikor szólaljon fel — írja The Decoder. (The Decoder)
A jelenlegi videósegítők többnyire egyértelmű utasításokra, például „szólj, ha forrni kezd a víz” típusú kérésekre vannak optimalizálva, ezért gyakran nem veszik észre a nem kimondott vagy változó szándékokat. A StreamVibe ezzel szemben megkülönbözteti az explicit, implicit és változó felhasználói kéréseket, és csak akkor avatkozik be, ha valóban szükség van rá.
Adathalmaz és tesztelési protokoll
A csapat 4100 példányból álló tesztadathalmazt hozott létre, amely 183 óra napi élet és szoftverfelvétel adatait tartalmazza. A Gemini 2.5 Flash javasolta a segítséget és a válasz szövegét, amelyeket négy emberi értékelő egyhangúlag jóváhagyott. A teljesítményteszt három fázist ölel fel: egyértelmű utasítások, homályos célok és idővel változó kérések.
Memóriarendszer és erősítéses tanulás
A StreamVibe-VL — amely láthatóan az Alibaba Qwen3.5-9B modelljén alapul — másodpercenként dönt arról, hogy hallgasson vagy szólaljon fel. Az erősítéses tanulás második fázisa a modellt visszafogottabbá teszi, hogy ne szakítsa folyton a felhasználót. A memóriarendszer nyomon követi a függőben lévő kéréseket és a befejezett lépéseket, de a döntést a modell hozza meg önerőből.
A kutatás szerint a StreamVibe-VL 10,7%-kal javítja a válaszok időzítését és minőségét más modellekhez képest, a memóriarendszer pedig további 12,3%-os növekedést ér el a proaktív interakcióban, és csökkenti a felesleges megszakításokat. A modell általában felülmúlja az alapmodellt és más nyílt forráskódú modelleket, de a Google saját Gemini 3.8 Flash-je több teszten is jobban teljesít.
Hosszabb videóknál azonban a teljesítmény drasztikusan romlik: öt percnél hosszabb videóknál a pontosság akár 61,5%-kal is csökkenhet az hibák felhalmozódása miatt. A kutatók elismerik, hogy a valós helyzetek bonyolultabbak lehetnek a tesztkörnyezetnél, és jövőbeli munkáikban vizsgálják majd, hogyan befolyásolják egymást a felhasználói preferenciák és a környezet idővel. A pontosság 61,5%-os csökkenése öt percnél hosszabb videóknál jelzi a rendszer jelenlegi határait.