Első valós idejű generatív sebészeti szimulátort adott ki az NVIDIA

A Cosmos3-H-Dreams a korábbi Cosmos-H-Dreams továbbfejlesztése, amely asztali szumósítást szimulált. Az új verzió már a CMR Surgical Versius platformon rögzített klinikai epehólyag-eltávolítási videókból és robotkinematikai adatokból tanul. Az NVIDIA szerint ez az első valós idejű generatív sebészeti szimulátor, amely ilyen típusú klinikai felvételekkel lett betanítva, és élő kinematikai vezérlést támogat. (Hugging Face)

Adatbázis és technikai paraméterek

A szimulátor a vizuális dinamikát közvetlenül a szinkronizált videókból és robotkinematikai adatokból tanulja, így elkerüli a hagyományos fizikai szimulációkat. A Cosmos3-H-Dreams 28 akciódimenziót támogat, beleértve a két sebészeti eszköz pozícióját, markolatát, energiavezérlését, valamint a joystick tengelyeit és gombjait. A modell 832 x 480 felbontású videóval és 10 Hz mintavételezési rátával dolgozik.

Kiadási verziók és alkalmazhatóság

A modell két fő kiadással érhető el: egy négylépéses, jobb vizuális minőséggel, de lassabb futási idővel, és egy kétlépéses, gyorsabb inferenciával, de alacsonyabb vizuális minőséggel. A FlashDreams könyvtár biztosítja a gyors futtatást, míg a FadeMem modul kezeli a modell figyelmi előzményeit a hosszú szimulációk során. A Cosmos3-H-Dreams képes általánosítani az eddig nem látott mozdulatokra is, így a sebészek „új” mozdulatait is szimulálni tudja. A rendszer adaptálható más adatkészletekhez és eszközökhöz is, az NVIDIA részletes útmutatót biztosít a saját adatokkal való finomhangoláshoz.

Az NVIDIA szerint a vizuális valósághűség új kutatási irányokat nyit meg, mint például a teljes sebészeti eljárás modellezése vagy a generatív és numerikus szimulációk összekapcsolása. A biomechanikai pontosságot egyelőre nem állítják, de a vizuális valósághűség jelentős előrelépést jelent a sebészeti képzésben és a robotika fejlesztésében. A Cosmos3-H-Dreams egyetlen NVIDIA RTX PRO 6000 GPU-n fut.