Független kutatók szerint a nagy AI-cégek elhallgatják a valós használati adatokat

Az AI-cégek, mint az Anthropic és az OpenAI, rendszeresen publikálnak jelentéseket arról, hogyan használják a felhasználók a termékeiket, például a Claude-ot és a ChatGPT-t. Ezek a jelentések azonban csak a cégek által közzétenni kívánt adatokat tartalmazzák, ami nem ad teljes képet a valós használatról — állítják független kutatók. „Nincs független forrás, ami ezt megerősítené” — mondja Anka Reuel, a Stanford Trustworthy AI Research (STAIR) Lab számítástechnikai PhD-hallgatója. Reuel a nemrég elindult AI Observatory nevű projekt egyik vezetője, amelynek célja éppen ez a hiányosság pótlása. (MIT Technology Review AI)

Független adatok a valós használatról

Az AI Observatory egy nyilvános platform, amely felhasználói beleegyezéssel gyűjtött valós AI-beszélgetéseket elemez népszerű modellekkel, mint a Claude és a Gemini. A hét meglévő adatkészletből származó adatok célja, hogy független információforrást biztosítsanak a kutatóknak és a politikai döntéshozóknak a generatív AI használatának felméréséhez. „Nagyon fontos döntések születnek az AI előnyeiről és kockázatairól, de ezek nagyon korlátozott adatokon alapulnak” — nyilatkozta Reuel.

Az AI Observatory kutatása szerint az AI-használat jelentősen eltér a különböző modellek között, és idővel is változott. Az adatok alapján sokkal több érzékeny viselkedésmintázat figyelhető meg, mint a nagy AI-cégek jelentéseiben, amelyek inkább a munkacélú használatra összpontosítanak.

A cégek jelentéseinek korlátai

Az Anthropic gazdasági indexe az egyik legismertebb AI-használati adatforrás, de a kutatók szerint ez is „vakfoltokkal” rendelkezik. Ahogy a neve is sugallja, ez a jelentés a Claude AI munkához és produktivitáshoz kapcsolódó használatára fókuszál, kiszűrve az ettől eltérő beszélgetéseket. Amikor az AI Observatory kutatói ugyanezeket a módszereket alkalmazták saját adatkészletükre, azt találták, hogy a beszélgetések közel fele, 48%-az esett volna ki a szűrésen.

Ezekben a nem munkacélú beszélgetésekben nagyobb arányban fordultak elő egészségügyi és kapcsolati témák (44,2% szemben az Anthropic elemzésében szereplő 31,2%-kal), felnőtt vagy illegális témák (7,9% vs. 2,1%), zaklatás és gyűlöletbeszéd (27,5% vs. 5,66%), valamint szexuális tartalom (16,7% vs. 2,4%). Az OpenAI 2025-ös ChatGPT jelentése hasonlóan 30%-ra becsülte a fogyasztói használat munkához kapcsolódó részét.

Modellspecifikus különbségek és időbeli trendek

David Widder, az AI-rendszerekkel való interakciókat kutató professzor szerint az AI Observatory „madártávlatú elemzése” segít a különböző használati módok következetesebb megértésében, ellentétben azzal, ha ezek az információk különálló jelentésekben lennének elszórva.

Az AI Observatory által vizsgált adatkészletek 2023 és 2025 között zajlott beszélgetéseket tartalmaztak. A WildChat adatkészletben, amely az egyik legnagyobb és legkidolgozottabb volt a tanulmányban, a beszélgetések hosszabbak és kidolgozottabbak lettek az idő múlásával, amit az utasítások és válaszok tokenjeinek, valamint a fordulók számának növekedése jelzett.

Jelentősen több lett a kis beszélgetés is, ami növekvő AI-kíséretre utalhat. Ezzel párhuzamosan az AI-asszisztensek önlelepleződése (azaz annak bevallása, hogy chatbotok) csökkent. Emellett az érzékenynek minősített, potenciálisan káros vagy tiltott tartalmak — beleértve a szexuális zaklatást és a gyűlöletbeszédet — kevésbé gyakoriak lettek, ami arra utalhat, hogy a platformok hatékonyabb védelmi rendszereket vezettek be.

Modellválasztás és használati minták

Az AI Observatory azt is kimutatta, hogy a témák, az interakciós stílusok, a beszélgetési struktúrák, valamint az érzékeny használati esetek valószínűsége és típusa modellenként eltérő volt. Például a kutatók azt találták, hogy az embereket Grokot és Geminit gyakrabban használták információkeresésre. A Grok különösen népszerű volt a hírekkel és politikával kapcsolatos információkhoz, de itt koncentrálódott a félretájékoztatás is. Más kutatások is megerősítették, hogy a félretájékoztatás milyen könnyen terjed a Grokon.

Eközben az emberek valószínűbb, hogy Anthropicot használtak kódoláshoz, Geminit szociális és szerepjátékokhoz, a ChatGPT-t pedig házi feladatokhoz. Különbségek voltak még az azonos modell különböző verziói között is. A kutatók azt találták, hogy a GPT-3.5-tel működtetett ChatGPT-vel rövidebb beszélgetéseket folytattak, míg a GPT-4o-val hosszabb és iteratívabbakat — ami érthető, tekintve, hogy ez utóbbi verzió érzelmi függőséget okozhatott.

A cégek narratívái és a kutatók igényei

A cégek jelentései azonban nem mindig ragadták meg ezeket a finomságokat a saját modelljeiken belül vagy között. „Egyetlen céges jelentés sem mondja el a teljes történetet” — mondja Shayne Longpre, az MIT Media Lab friss PhD-graduáltsa, aki Reuel mellett a kutatás társelnöke volt. Az AI Observatory létrehozásához Reuel és az MIT, a Stanford, a Data Provenance Initiative és más intézmények kutatói 85 633 beszélgetési fordulatot (felhasználói prompt és a hozzá tartozó AI-válasz) aggregáltak 24 521 beszélgetésből, hét, korábbi kutatásokban gyűjtött valós adatkészletből.

Ezek a beszélgetések 5000 felhasználótól származtak, akik 52 különböző modellel — köztük ChatGPT, Gemini, Claude és Grok — léptek interakcióba 2023 és 2025 között. Ezek a beszélgetések azonban csak egy cseppek a tengerben ahhoz képest, amihez a nagy laborok maguk hozzáférnek. Az Anthropic legújabb gazdasági AI-indexe például 1 millió Claude-beszélgetés elemzésén alapul; az OpenAI jelentése a ChatGPT használatáról 1,5 millió beszélgetést vizsgált.

Adatmegosztás és a jövő

Egy Anthropic képviselője elmondta, hogy a cég által közzétett kutatások a kutatócsoportjaik specifikus kérdéseit és érdeklődését tükrözik, és fontosnak tartják a külső, független kutatások támogatását. Az OpenAI nem reagált a megkeresésekre.

Az a tény, hogy az AI Observatory adatkészlete önkéntesen megosztott forrásokból származik, valószínűleg alulreprezentálja az érzékeny használati módokat, amelyeket az emberek kevésbé valószínű, hogy megosztanának. Ezért a kutatók óvatosságra intenek, hogy eredményeik nem jelzik az összes AI-használatot. A projekt munkája azonban bővíti a kutatói közösség hozzáférését.

Az AI-cégek általában nem osztják meg csevegési adataikat elemzésre, ami azt jelenti, hogy jelentéseik általában azokra a megállapításokra összpontosítanak, amelyek a legkedvezőbb színben tüntetik fel őket — mondják olyan független kutatók, mint Reuel és Widder. „Amikor például azt akarjuk kérdezni, hogy az Anthropic általános célú AI-rendszerét… főleg jóra vagy főleg rosszra használják-e… nincs módunk megválaszolni ezt a kérdést, mert az információ bizalmas” — magyarázza Widder.

Az AI Observatory adatai elérhetőek lesznek a kutatók számára elemzésre, és a csapat reméli, hogy idővel bővítheti adatkészleteit. Ideális esetben — mondja Reuel — az AI-cégek megosztanák adataikat független kutatókkal, természetesen a felhasználói adatvédelem védelmében. De jelenleg — teszi hozzá — bárki, aki AI-használati adatok alapján hoz döntéseket, kockáztatja, hogy „teljesen a vakon működik, és ezeket a nagyon fontos döntéseket anélkül hozza meg, hogy tudná, mi történik valójában a céges narratívákon túl.”