AI-eszköz agy-szkennel rekonstruálja, mit nézünk, pontossága lenyűgöző
A technológia nemcsak a látottak visszaállítására alkalmas, hanem képekből is képes megjósolni az agyi aktivitást, ami új lehetőségeket nyithat a kommunikációban korlátozott betegek ellátásában.
Az izraeli Weizmann Intézet kutatói által fejlesztett AI-eszköz agy-szkennel képes rekonstruálni, mit néz egy személy, akár 1 mm³-es felbontású fMRI adatokból. A modell fordítva is működik: képekből jósolja meg az agyi aktivitást — közölte az MIT Technology Review.
Michal Irani, a kutatás vezetője szerint az új „gondolatolvasó” eszköz segíthet a kommunikációban korlátozott betegeken, vagy akár az álmok tartalmának feltárásában. Judy Illes, a British Columbia Egyetem neuroetikusa „látványosnak” nevezte a munkát, és kiemelte a terápiás potenciált neurológiai állapotok esetén.
Tommy Sprague, a Kalifornia Egyetem idegtudósa szerint az eredmények lenyűgözőek, de aggodalomra ad okot a potenciális visszaélések lehetősége. „Ha van mód arra, hogy észrevétlenül információt vonjunk ki arról, mit gondolsz, akkor 150 év tudományos-fantasztikus forgatókönyve válhat valóra” — figyelmeztetett.
A kutatás módszertana
A korábbi kísérletekhez képest az új modell kétszeres dekóderrel dolgozik: az egyik az image struktúráját (színek, pozíció), a másik a tartalmát (pl. banánok a tányéron) jósolja meg. Ezt egy diffúziós modellel kombinálva sokkal pontosabb képrekonstrukciót tesz lehetővé. A kutatók nyolc résztvevőtől gyűjtöttek adatokat, akik mindannyian körülbelül 9000 képet néztek meg magas felbontású fMRI-szkennerekben.
Az adathiány leküzdésére egy encoder-modellt is tanítottak, amely képekből képes megjósolni az agyi aktivitást. Az encoder és a decoder együttes használatával javították mindkét eszközt. Ez a módszer lehetővé teszi, hogy a kutatók annyi képpel tanítsák a modelljeiket, amennyit csak akarnak, még akkor is, ha azokat nem mutatták meg embernek fMRI-szkenben. A kutatók szerint a tanító adatok mintegy 70%-a olyan képekből származik, amelyek eredetileg nem voltak párosítva fMRI-felvételekkel.
Állapot és jövőbeli tervek
Bár a modell nem tökéletes — Irani szerint volt, hogy egy tortát három szendvicsként, egy kutyát pedig kecskeként rekonstruált —, a jelenlegi állapot szerint ez a legfejlettebb technológia. A korábbi modellekhez képest „jelentős mértékben” felülmúlják azokat — mondta Irani. A kutatók most videó és hang rekonstrukcióján dolgoznak, és szeretnék elérni az elképzelt gondolatok és álmok tartalmának feltárását is.
A Weizmann Intézetben fejlesztett „univerzális agyi encoder” minimális kalibrációval képes új személyek szkennjein dolgozni, mindössze egy óra adat elegendő, szemben a korábbi 40 órás igényekkel. A kutatást a New York-i Cognitive Computational Neuroscience konferencián mutatták be.