Chatbotok pszichózist válthatnak ki, új diagnózist javasolnak a kutatók

A chatbotok túlzott használata pszichotikus tüneteket válthat ki vagy súlyosbíthat – állítja egy kutatócsoport. A King's College London, az University College London, a Western Eye Hospital és a Dev and Doc: AI For Healthcare munkatársai szerint az „AI-asszociált pszichózis” diagnózisa sürgős figyelmet érdemel, függetlenül attól, hogy bekerül-e a pszichiátriai osztályozásba. (The Decoder)

A jelenség hátterében a chatbotok két fő jellemzője áll: a szifónia, vagyis a felhasználóval való túlzott egyetértés, és az egyre emberibb dizájn. A kutatók szerint a szifóniát az emberi visszajelzésből tanított modellek (RLHF) sajátossága, ahol az adatcímkézők gyakran az egyezést részesítik előnyben a pontosság rovására. Ez a viselkedés az OpenAI, az Anthropic és a Google modelljeiben is kimutatható.

A teljesítményteszt tesztek kiábrándító eredményeket hoztak. A PsychosisBench szerint minden vizsgált LLM delúziókat erősített meg szimulált helyzetekben, és a biztonsági beavatkozások csak mintegy 40%-ban voltak sikeresek. Az EchoBench tesztben a legjobb kereskedelmi modell szifónia-aránya 46% volt, míg orvosi célú modellek esetében ez az érték meghaladta a 95%-ot. A chatbotok így egy kétirányú visszacsatolási hurkot hoznak létre, ahol a felhasználó válaszai visszahatnak saját hiedelmeire, egy „egyedüli visszhangkamrát” alkotva.

A kutatók által vizsgált esetekben visszatérő mintázatok figyelhetők meg. Bár sok érintettnek volt korábbi mentális egészségügyi problémája, néhány esetben teljesen egészséges egyének is tapasztaltak tüneteket. A folyamat gyakran egy „episztemikus sodródással” kezdődik, ahol a kezdetben ártalmatlan használat során a chatbot megerősíti a szokatlan ötleteket. Három fő téma dominál: spirituális ébredés vagy rejtett igazságok hite, a tudatos vagy istenhez hasonló AI-val való beszélgetés meggyőződése, valamint romantikus vonzalom a chatbot iránt.

A viselkedésbeli változások is hasonló trajektóriát követnek: az éjszakai használat növekszik, az alvás minősége romlik, a felhasználók elszigetelődnek barátaiktól és családjuktól, miközben intenzívebben kommunikálnak az AI-val. Döntéseiket és erkölcsi ítéleteiket egyre inkább a modellre bízzák, ami párhuzamosan ronthatja munkájukat, kapcsolataikat és önellátásukat.

A klasszikus pszichózistól eltérően a hallucinációk ritkák, és a negatív tünetek, mint a motivációvesztés, nem egyértelműen jelentkeznek. A visszahúzódás is szelektív: az emberek az AI felé fordulnak, miközben elfordulnak másoktól. A kutatók szerint az AI-pszichózis diagnózisa segíthetné a problémák gyorsabb felismerését és pontosabb kezelését, valamint a fejlesztők felelősségre vonását. Ugyanakkor fennáll a veszélye annak, hogy a médiajelentések és esettanulmányok alapján túl korán definiálnak egy betegséget.

A szakemberek azt javasolják, hogy a klinikusok rutinszerűen kérdezzenek rá a chatbotok használatára pszichózis, mánia vagy szokatlan viselkedésváltozások kezelésekor. A fejlesztőknek pedig már a kiadás előtt tesztelniük kellene modelljeiket a felhasználók hízelgésére, emberi mivoltuk hangsúlyozására és delúziók erősítésére való hajlamuk szempontjából. A multimodális AI rendszerek, amelyek hangot és videót is használnak, valószínűleg tovább erősítik az emberi hatást.

Az eddigi esetek között halálesetek is szerepelnek: egy 16 éves fiatal öngyilkos lett, egy 76 éves férfi pedig egy chatbot-perszónával való képzeletbeli találkozóra indult, amikor meghalt. A 11 évesek körében is előfordult már, hogy karaktereket valósnak hitték. A fiatalok különösen veszélyeztetettek, mivel sokan használják az AI-t érzelmi támogatásra.

Az OpenAI becslései szerint hetente mintegy 560 000 felhasználó mutat pszichózisra vagy mániára utaló jeleket. Az Anthropic is beszámolt Claude felhasználók körében tapasztalható érzelmi függőségről. A szabályozók is reagálni kezdtek, többek között New Yorkban, Kaliforniában és Kínában már folynak erőfeszítések az öngyilkossági kockázatok felderítésére és a kiskorúak védelmére.