MIT robotikai ügynökei valósághű virtuális tereket teremtenek a robotok betanításához
Az MIT és a Toyota kutatói által fejlesztett SceneSmith rendszer valósághű virtuális környezeteket hoz létre, amelyekben a robotok biztonságosan gyakorolhatnak feladatokat, csökkentve a valós tesztelés költségeit.
A robotok képzése rengeteg adatot és tapasztalatot igényel, ami a valós környezetben idő- és költségigényes. Az MIT és a Toyota kutatói által kifejlesztett SceneSmith nevű új rendszer három mesterségesintelligencia-ügynök együttműködésével hoz létre élethű 3D-s jeleneteket, amelyek ideálisak robotok szimulációs betanítására. Ezek a virtuális játszóterek lehetővé teszik a gépek számára, hogy különböző feladatokat gyakoroljanak, mielőtt valós körülmények között bevetnék őket. (Robohub)
A SceneSmith architektúrája három speciális AI-ügynököt – egy tervezőt, egy kritikust és egy koordinátort – alkalmaz, amelyek egy fejlett, többmodális látás-nyelv modellt (VLM), a GPT-5.2-t használják. Ez a modell, amelyet nagyméretű szöveges és képi adatokon tanítottak, lehetővé teszi az ügynökök számára, hogy vizuális parancsok alapján hozzanak létre 3D-s tereket. Az ügynökök együttműködése révén a rendszer képes olyan mindennapi helyszíneket, mint éttermek, hálószobák vagy szállodák, valósághűen modellezni, akár hatszor több tárggyal, mint a korábbi módszerek – közölte az MIT News.
A rendszer rugalmasságát jól mutatja, hogy természetes nyelvi parancsokkal is vezérelhető. Például egy „generálj egy garázst autóval, egy műhellyel, a sarokban felhalmozott gumikkal és egy létrával a falon” típusú kérésre a SceneSmith képes komplex és kreatív elrendezéseket létrehozni. Ezek a virtuális környezetek ideálisak a robotok olyan készségeinek fejlesztésére, mint poharak mosogatógépbe helyezése, gyümölcsök tányérokra pakolása vagy egy üdítős doboz polcról asztalra mozgatása. A kutatók több mint 1300 jelenetet hoztak létre a rendszerrel, amelyek sok esetben a promptokban nem szereplő, improvizált elrendezéseket tartalmaztak.
Valósághűség és teljesítmény
A SceneSmith által generált jelenetek valósághűségét több módszerrel is tesztelték. Egy előre betanított robotpolitika, amely korábban nem találkozott SceneSmith-jelenetekkel, sikeresen teljesített feladatokat, például egy alma áthelyezését egy tálból egy vágódeszkára. Ez azt jelzi, hogy a virtuális környezetek kellőképpen hasonlítanak a valós világra ahhoz, hogy a robotok tanulási folyamatait érdemben támogassák. A robotok fizikai interakcióit, például szekrények nyitását vagy szobák közötti navigálást is szimulálták a virtuális terekben, amelyek így tartósnak bizonyultak.
A generációs folyamat
A SceneSmith ügynökei szakaszosan építik fel a jeleneteket. A „tervező” VLM kezdetben általános elrendezést generál, amelyet a „kritikus” értékel, majd a „koordinátor” hagy jóvá. Ez az iteratív folyamat bútorok hozzáadásával, tárgyak falakra vagy mennyezetre helyezésével, majd a robotok által manipulálható elemek elhelyezésével folytatódik. A rendszer képes olyan artikulált elemeket is létrehozni, mint nyitható és csukható szekrények, amelyek korábbi rendszerekben ritkán fordultak elő. A második VLM gondoskodik a jelenet praktikusságáról, míg a harmadik a vizuális minőségért felel, szükség esetén visszalépve a tervezési folyamatban.
A SceneSmith jelentős előnyt mutat a korábbi, például „HSM” és „Holodeck” elnevezésű rendszerekkel szemben, valósághűbb és több tárgyat tartalmazó környezeteket hozva létre. A több mint 200 felhasználó által végzett tesztek során a rendszer vizuális megjelenítése több mint 90%-ban valósághűbbnek bizonyult, és jobban követte a felhasználói promptokat, mint más megközelítések.
A kutatók a SceneSmith-t közölték az MIT News-on keresztül.