Bemutatta a Pegasus 1.6-ot a TwelveLabs, robotoknak segít a videóértelmezésben

A Pegasus 1.6 az első olyan AI-modell, amely képes egocentrikus videók értelmezésére, vagyis az emberi munkavégzés szemszögéből készült felvételek elemzésére. Jae Lee, a TwelveLabs társalapítója és vezérigazgatója szerint a modell pontosabb megértést biztosít a robotika és az adatcsapatok számára, hogy aztán szükségleteiknek megfelelő betanítási adatokká alakíthassák. (The Robot Report)

Hardverfüggetlen működés

A Pegasus 1.6 nem igényel speciális kamerákat vagy hardvert, elegendő, ha az emberi cselekvések és kölcsönhatások rögzítésre kerülnek az operátor szemszögéből. A modell képes meglévő videóadatokkal dolgozni, és állóképeket is elemezni tud. A cég szerint az egocentrikus videók gyűjtése és skálázása könnyebb, mint a távirányítású adatoké, így a felvételeket hasznosabbá tehetik a robotikai csapatok számára.

Munkafolyamatok és adatvédelem

A Pegasus 1.6 öt, videóalapú munkafolyamatot támogat. Ezek közé tartozik az automatikus akciófelismerés és címkézés, amely pontos, időbélyeggel ellátott adatokat generál a feladatokhoz, lépésekhez, tárgyakhoz és kéz-tárgy interakciókhoz. Támogatja a sűrű feliratozást a robotok természetes nyelvi megértéséhez, minőségértékelést a gyenge minőségű videók kiszűrésére, valamint keresést és kurálást ritka események és duplikált klipek felderítésére. Emellett képes arcok, járókelők és érzékeny adatok felismerésére és jelölésére az adatvédelmi és megfelelőségi előírások betartása érdekében.

A Pegasus 1.6 a TwelveLabs korábbi, nagyméretű videótárakkal rendelkező vállalati ügyfelei számára kifejlesztett videóértelmezési képességeire épít. A modell továbbfejlesztett entitásfelismerést kínál a kezek, tárgyak és eszközök következetesebb nyomon követéséhez, és gyorsabb, költséghatékonyabb feldolgozást tesz lehetővé nagy mennyiségű videómunkafolyamat esetén. A rendszer a videóértelmezést más szenzorokkal is kiegészíti, azonosítva a cselekvéseket, azok pontos időbeli szegmenseit, a kezek mozgását és a környezeti változásokat.

A TwelveLabs robotikai fejlesztőkkel való együttműködését is bővíti. A cég robotikai laborokkal és adatcsapatokkal dolgozik együtt, hogy videóadatokat használjanak a robotok betanításának skálázására, különösen a dexteritást és manipulációt igénylő feladatok, mint a csomagolás, összeszerelés és tisztítás, valamint speciális ipari alkalmazások, például félvezető minőségellenőrzés terén. A cél, hogy a humán viselkedésről készült videóanyagok nagymértékben hasznosíthatóvá váljanak a robotok betanításához.