Új Google-modell segíti a robotokat a feladatok tervezésében és önkorrekcióban

Valós idejű önkorrekció és feladatvezérlés

A Gemini Robotics ER 2 jelentős előrelépést jelent az előző, ER 1.6-os verzióhoz képest. A robotok folyamatos videófolyamokat figyelhetnek meg, így nyomon követhetik saját haladásukat, valós időben korrigálhatják a hibákat, és tudhatják, mikor kell továbblépniük a következő lépésre. A modell képes natívan használni olyan eszközöket, mint a Google Keresés vagy felhasználó által definiált funkciók. A Google AI Blog szerint a robotok a feladatok elvégzése közben is képesek gondolkodni a következő lépéseken, miközben végrehajtják a jelenlegi műveleteket. (Google DeepMind)

Többrobotos együttműködés és fejlett térbeli intelligencia

Az új modell lehetővé teszi a többrobotos együttműködést, így különböző típusú gépek osztozhatnak egy közös térben és bonyolult munkafolyamatokat végezhetnek el, amelyeket egyetlen robot nem lenne képes egyedül megoldani. A Gemini Robotics ER 2 fejleszti a robotok általános térbeli intelligenciáját is. A sikertelenség-észlelés funkció már nem csak statikus képekre, hanem nyers videofolyamokra is működik, így felismeri a hibákat, mint a kiömlés vagy a rossz beállítás. Az általános műszerolvasás kiterjed a digitális kijelzőkre, vonalzóra és folyadékhőmérőkre is, míg a vizuális kérdés-válaszolás (VQA) képességei is javultak a multimodalitás terén.

Időbeli intelligencia és precíziós feladatvégzés

A Gemini Robotics ER 2 fejlett videóértelmezést és haladáskövetést kínál, amely segít megbizonyosodni arról, hogy a komplex feladatok, mint egy villanykörte becsavarása vagy egy szemeteszsák megkötése, a specifikációknak megfelelően befejeződtek, mielőtt a robot továbblépne. A modell 57,4%-os pontosságot ér el a feladatok előrehaladásának osztályozásában, ami felülmúlja a korábbi generációs modelleket. A precíziós pillanat-keresésben 91,3%-os pontosságot és 0,96 másodperces átlagos távolságot ér el, miközben a számítási költség töredékét használja és négyszeres végrehajtási sebességet kínál. Ez a másodperc alatti válaszidő kritikus a valós idejű robotműködéshez.

A Gemini Robotics ER 2 a Gemini API-n, a Google AI Studión és a Gemini Enterprise Agent Platformon keresztül érhető el.