Neura Robotics új multimodális robotmodellel próbálja felülmúlni a látásalapú AI-t

A németországi Neura Robotics bemutatta a Neuron AI nevű alapmodellt, amely a robotok döntéshozatalát segíti a látás mellett hang- és tapintásérzékelőkkel. A cél a gépek észlelési képességeinek javítása. (AI Business)

A Neuron AI 3D-látást, érintési és erőadatokat, hangot, a robot állapotát és nyelvet integrál egy észlelés-nyelv-akció modellbe. A Neura szerint a modell „memóriával” is rendelkezik, ami lehetővé teszi a robotoknak, hogy megőrizzék az információkat tárgyakról és korábbi műveletekről, még akkor is, ha azok már nincsenek látómezőben. A vállalat élő bemutatót tervez a modellről az Nvidia GTC konferenciáján, ahol a Neura humanoid robotja, a 4NE1, egy tizenegy perces mosoda-kezelési feladatot végez majd, az új modellre betanítva.

Ez az megközelítés eltér a hagyományos fizikai AI-rendszerektől, amelyek elsősorban látás-nyelv-akció (VLA) modellekre támaszkodnak. A Neura szerint a hang és tapintás kiegészítő érzékelése fontos olyan feladatoknál, ahol a vizuális információ önmagában nem elegendő. Például egy zár kinyitásakor csak a hang és a tapintás erősíti meg, hogy valóban nyitva van-e.

A modell memóriafunkciója segít a robotoknak fenntartani a kontextust, ahogy a tárgyak eltűnnek a látómezőből, vagy ahogy a robot cselekvései megváltoztatják a környezetet. A vállalat azonban még nem közölte, hogy a kiegészítő érzékelők milyen mértékben befolyásolják a teljesítményt, vagy mennyi betanítási adatra van szükség a megbízható eredmények eléréséhez.

A több érzékelő bevonása ugyan segíthet a robotoknak olyan feladatok elvégzésében, amelyeket csak kamerákkal nem lehetne megoldani, de ez komoly betanítási kihívást jelent. „A legtöbb fizikai AI-verem VLA modellekre összpontosít, amelyek a „látásból” tanulnak” — mondta Rueben Scriven, az Interact Analysis kutatási vezetője. „Amire a Neura fogad, az az, hogy a különböző érzékelőkből tanított modellek jobban fognak teljesíteni.”

Scriven ugyanakkor megkérdőjelezte, hogy a Neura képes lesz-e elegendő adatot gyűjteni a modell hatékony betanításához. „Már most is korlátozott a jól annotált videóadatok mennyisége, nem beszélve a több érzékelőt együttesen használó adatokról” — mondta. „Ezért a valódi kérdés az, hogy a robotikai edzőtermekben végzett adatgyűjtés elegendő lesz-e a modellek betanításához.”