Meta AI agy-szöveg dekóder 61%-os pontossággal írja le a gondolatokat

A Meta AI bemutatta a Brain2Qwerty v2 agy-szöveg dekódert, amely valós időben képes természetes mondatokat visszafejteni nem-invazív agyi felvételekből. A rendszer magnetoencephalográfia (MEG) jeleket olvas be gépelés közben, és rekonstruálja a leírt szöveget műtét vagy implantátum nélkül. (MarkTechPost)

Ez a Brain2Qwerty v1 2025. februári kiadásának utódja. A Meta a korábbi és az új verzió teljes betanítási kódját is közzéteszi. A dekódoló folyamat egy konvolúciós enkódert, egy transzformert és egy karakter-szintű nyelvi modellt kombinál, továbbá finomhangolt nagy nyelvi modelleket is használ. A kutatás a spanyolországi Basque Center on Cognition, Brain and Language (BCBL) intézettel közösen zajlott.

Kapcsolódó: agyjelek szavahossz előrejelzése

Mire képes a Brain2Qwerty v2?

A Brain2Qwerty v2 egy agy-szöveg dekóder, amely a nyers agyi aktivitást karakterekké, majd szavakká és mondatokká alakítja. A Meta mintegy 22 000 mondatot használt fel kilenc önkéntes résztvevő bevonásával, akik mindannyian 10 órán keresztül gépeltek aktívan. A felvételek MEG-eszközzel készültek, amely az idegtevékenység által keltett mágneses mezőket méri, nagy időbeli felbontással.

Kapcsolódó: EEG-dekódolás ArXiv tanulmány

A modell karakter-, szó- és mondatszintű reprezentációkat használ. Ez a rétegzett felépítés lehetővé teszi a helyi hibák szélesebb kontextus alapján történő javítását. Fontos megjegyezni, hogy ez egy kutatási projekt, nem pedig fogyasztói termék. A dekódert kis számú önkéntesen tesztelték, és nem klinikai eredményekről van szó.

Hogyan működik a dekódoló folyamat?

A korábbi nem-invazív rendszerek kézzel készített folyamatokat használtak neurális események észlelésére. A Brain2Qwerty v2 ezt a lépést végponttól végpontig tartó mélytanulással váltja ki. A Meta szerint a modell három fő komponensből áll: egy konvolúciós enkóderből, egy transzformerből és egy karakter-szintű nyelvi modellből. Az enkóder a nyers MEG-jeleket dolgozza fel, a transzformer pedig a hosszabb távú időbeli struktúrát modellezi. A karakter-szintű nyelvi modell biztosítja, hogy a kimenet értelmes szöveg legyen.

Kapcsolódó: Anchor rendszer bemutatása

A Meta kutatói három módon emelik ki az AI szerepét az eredmények elérésében: a mélytanulás leváltja a kézzel készített eseménydetektálást, a nagy nyelvi modellek finomhangolása szemantikai reprezentációkat nyer ki az adatokból, és AI-ügynökök iteratívan finomították a dekódoló folyamatot automatizált kódfejlesztéssel. A finomhangolt LLM-ek szemantikai kontextust adnak, ami áthidalja a zajos agyi felvételek és a koherens nyelvi kimenet közötti szakadékot.

Az elért pontossági számok

A Brain2Qwerty v2 átlagosan 61%-os szópontosságot ér el, ami 39%-os szóhibát (WER) jelent. A legjobb résztvevő esetében a modell 78%-os szópontosságot ért el, ahol a mondatok több mint fele kevesebb mint egy szót hibázott. A korábbi, nem-invazív módszerek mindössze 8%-os szópontosságot mutattak. A pontosság logaritmikusan skálázódik az adatok mennyiségével; több órányi felvétel növeli az eredményeket.

Kapcsolódó: 2D korai kilépés LLM-eknél

Ezek az eredmények kontrollált körülmények között, önkéntesek bevonásával születtek, nem pedig agysérültekkel végzett klinikai tesztek alapján. A v1 és v2 verzió eltérő mérőszámokat használ, így közvetlen összehasonlításuk óvatosan kezelendő. A v1 karakter-szinten, míg a v2 karakter-, szó- és mondatszinten működik.

Felhasználási területek és korlátok

A technológia fő motivációja a kommunikáció helyreállítása olyan emberek számára, akik agysérülés miatt nem tudnak beszélni vagy mozogni. Bár invazív módszerek már léteznek, a nem-invazív dekóder szélesebb körű hozzáférést biztosíthat. A közzétett kód lehetővé teszi a tudományos megismételhetőséget és más biosignál-dekódolási feladatokhoz is sablonként szolgálhat. Az adatok mennyiségével való log-lineáris skálázódás segíti a jövőbeli fejlesztések tervezését.

Kapcsolódó: komplex ábrák hatása AI-teljesítményre

A rendszer korlátai közé tartozik a kis mintaméret és a kutatási jelleg. A pontosság növelése érdekében további adatok gyűjtése szükséges. A Meta AI a Brain2Qwerty v2 betanítási kódját CC BY-NC 4.0 licenc alatt tette közzé.