Emberek szinte teljesen elfelejtenek nemet mondani az AI-ra, kutatás szerint

Az embereket szinte teljesen ellehetetleníti az AI-hozzáférés attól, hogy kimondják: „nem tudom” — derül ki Matthias Bastian és kutatótársai ötkísérletes, 3132 résztvevőt bevonó tanulmányából. A kutatás kimutatta, hogy már az AI-tanács elérhetősége is szinte teljesen eltörölte a bizonytalanság kifejezését, még akkor is, ha a modell szinte mindig tévesen válaszolt. (The Decoder)

Több válasz, kevesebb helyes válasz

Az első két kísérletben a résztvevők maguk dönthették el, kérnek-e AI-tanácsot. Az AI-hozzáféréssel nem rendelkező kontrollcsoportban a kérdések 36, illetve 44%-ára nem válaszoltak. Az AI-hozzáférés birtokában ez az arány 6, illetve 3%-ra esett vissza. A második tanulmányban a kutatók a résztvevők magabiztosságát is mérték: pénzügyi ösztönzők nélkül az AI-hozzáféréssel rendelkezőknél a magabiztosság 75,9 pontot ért el egy 100-as skálán, szemben a 29,6 ponttal AI nélkül. Ez nagyjából két és félszeres növekedés. Ezzel párhuzamosan a helyes válaszok aránya 27,6%-ról 10,0%-ra esett vissza.

Összességében a tanulmányok során az ösztönzők nélküli, AI-hozzáféréssel rendelkező résztvevők 9,2%-ára válaszoltak helyesen, szemben a 27,5%-kal AI nélkül. Több kérdésre válaszoltak AI-val, de csak nagyjából harmadannyi volt helyes.

Ösztönzők segítenek, de nem oldják meg a problémát

A 2. és 4. tanulmány pénzügyi ösztönzőket is tartalmazott: a résztvevők 10 centet kaptak minden helyes válaszért, és 10 centet veszítettek minden téves válaszért, míg a „nem tudom” válaszért nem kaptak semmit. A kutatók előzetesen azt a feltételezést fogalmazták meg, hogy az ösztönzők növelik a bizonytalanság kifejezésének hajlandóságát, de az AI elérhetősége ezt a hatást gyengíti. A három tanulmány egyikében sem találtak statisztikailag szignifikáns kölcsönhatást. Az AI-hozzáférés és a pénzügyi ösztönzők nagyrészt egymástól függetlenül hatottak.

Az ösztönzők arra késztették a résztvevőket, hogy ritkábban kérjenek AI-tanácsot, és gyakrabban válaszoljanak helyesen, ha az AI elérhető volt. A bizonytalanság kifejezése enyhén nőtt az ösztönzőkkel, de jóval a nem-AI kontrollcsoport alatt maradt. Az ösztönzők hatásosak voltak, de mérsékeltek.

Az emberek jobban bízhatnak az AI-ban, mint más emberekben

A kutatók az eredményeket az „Epistemia” kontextusában értelmezik: az a tendencia, hogy az AI válaszait elfogadják, mert meggyőzőnek hangzanak, ahelyett, hogy ellenőriznék azokat. Egy nyelvi modellnek mindig válaszolnia kell, sosem áll le, még akkor sem, ha nem tud valamit.

Amikor a felhasználók átadják az ítélőképességüket egy ilyen rendszernek, átvehetik annak korlátlanságát — írják a szerzők. A hatás ellentmond annak, amit a „tanácshasználati” kutatások kimutattak: az emberek általában alábecsülik a külső tanácsokat, és csak körülbelül egyharmadával mozdulnak el a tanácsadó pozíciója felé. A résztvevők ebben a tanulmányban az ellenkezőjét tették.

A kutatócsapat szerint ahogy az AI válaszai mindennapossá válnak, és egyre gyakrabban jelennek meg kéretlenül, az „nem tudom” kimondásának hajlandósága lehet az ember-AI interakció első áldozatai. Az, hogy az emberi ítélőképesség megállja-e a helyét az AI-rendszerek terjedésével, kevésbé attól függhet, hogy a modellek pontosabbak lesznek-e, és inkább attól, hogy az emberek továbbra is felismerik és tiszteletben tartják-e saját tudásuk határait. A Step 3.5 Flash modell használata során a „nem tudom” válaszok aránya 3%-ra csökkent.