Olvasók jobban kedvelik az AI-sztorikat, amíg nem tudják, hogy gép írta őket
Az emberek nem tudják megkülönböztetni a ChatGPT által írt és az emberi szerzők által jegyzett novellákat, sőt, az előbbieket magasabbra is értékelik, amíg nem tudják a szerző kilétét.
Három kísérletben több mint 2500 résztvevő vett részt, akik nem tudtak jobban szerencsénél többet teljesíteni abban, hogy megkülönböztessék az emberi és a ChatGPT által generált fikciós novellákat. Az első kísérletben 1682 résztvevő olvasott egy-egy körülbelül 1000 szavas novellát. Ezek közül három ismert irodalmi magazinokból és novellagyűjteményekből származott, míg a másik három a ChatGPT 4.0 segítségével készült, emberi eredetűek témája, stílusa és nézőpontja alapján.
A résztvevőknek csak a fele kapta azt az információt, hogy a történetet ember írta, a másik fele pedig azt hitte, hogy gép. Az információ pontossága csak a résztvevők felére igaz, közölték a kutatók Sydney Sears és Deena Skolnick Weisberg a Judgment and Decision Making című folyóiratban publikált tanulmányukban. Az AI-sztorikat mind a minőség, mind az elmélyülés szempontjából szignifikánsan magasabbra értékelték, mint az emberi írásokat: a minőségi pontszám átlaga 1,54 volt az AI-s novelláknál szemben a 0,97-tel emberi írásoknál (a skála -3-tól +3-ig terjedt), az elmélyülésnél pedig 1,42 volt az AI-s, míg 1,00 az emberi írásoknál.
A résztvevők AI-val kapcsolatos attitűdjei is befolyásolták az értékelést. Függetlenül attól, ki írta valójában a történetet, a résztvevők magasabb pontszámot adtak, ha azt mondták nekik, hogy ember a szerző. Az AI-val pozitívan viszonyulók általában magasabb pontszámokat adtak, és ha azt is tudták, hogy ChatGPT írta, pontszámaik tovább emelkedtek. Az AI-szkeptikus résztvevők esetében ez a hatás megfordult.
Két további kísérletben, 905 résztvevővel, a kutatók nehezebbé tették a feladatot. Mindenki olvasott egy emberi és egy AI-generált novellát is, majd ki kellett találnia, melyik melyik. Még közvetlen összehasonlítás mellett sem teljesítettek a résztvevők jobban a véletlenszerűnél. Az AI-rendszerekkel szerzett tapasztalat pozitívan korrelált a történetek eredetének helyes azonosításával, míg a fikciós művekkel szerzett tapasztalat nem segített.
A kutatók szerint az AI-generált szövegek simábbak, könnyebben olvashatók és érzelmileg felhangoltabbak lehetnek az emberi írásoknál, ami magyarázhatja a magasabb értékelést anélkül, hogy az AI-sztorik irodalmi szempontból jobbak lennének. Az emberek általában azokat az anyagokat részesítik előnyben, amelyeket könnyebb feldolgozni. Ezzel szemben a magas minőségű irodalmi fikció gyakran szándékosan nehezen hozzáférhető, és arra készteti az olvasót, hogy dolgozzon a jelentésért. A novellák formátuma is valószínűleg az AI malmára hajtja a vizet, mivel 1000 szóban koherens történetet elmesélni más kihívás, mint több száz oldalon.
A kutatók következtetése világos: az AI képes olyan kreatív műveket generálni, amelyeket az emberek legalább emberi szintűnek érzékelnek, mégis úgy gondolják, hogy az AI erre nem képes. Az összes adat és anyag szabadon elérhető az Open Science Frameworken. Egy korábbi, októberi tanulmány szerint a kutatói szakértelem csak egy bizonyos pontig számít; egyszerű utasítások esetén a profi olvasók egyértelműen az emberi írásokat részesítették előnyben, de amikor a modelleket kifejezetten az egyes szerzők stílusára képezték, a szakértők nyolcszor gyakrabban választották az AI-t stílushasonmásért és kétszer gyakrabban az írásminőségért — írja a The Decoder.