Egyetemi könyvtárakat ostromolnak az AI-botok, a nyilvános hozzáférés veszélyben

Akadémiai könyvtárak tucatjai védekeznek adatgyűjtő botok ellen, amelyek lelassítják vagy összeomlasztják a diákoknak, kutatóknak és a nagyközönségnek szánt oldalakat. A könyvtárak szerint a botok egész gyűjteményeket tesznek elérhetetlenné, az archívumaikban található tudományos, történelmi és kormányzati dokumentumok miatt. „Csak kint vannak az interneten, és bombáznak minket azzal, hogy minél több anyagot szedjenek fel” — mondta a CBC Newsnak Jill Strykowski, a San José-i Állami Egyetem katalogizálási és kormányzati dokumentum-részlegének vezetője. (Hacker News)

A botokat AI-cégek és harmadik fél vállalatok használják arra, hogy weboldalakat pásztázzanak és adatokat gyűjtsenek, gyakran nagy nyelvi modellek, például a Claude, a Gemini és a ChatGPT táplálására. A könyvtárak és más kulturális örökséget őrző intézmények azért célpontok, mert minőségi, ellenőrzött információt kínálnak, amely általában nincs fizetősfal vagy bejelentkezés mögé zárva. Strykowski szerint a botok „óriási mennyiségű munkát és fejfájást” okoznak minden olyan intézménynek, amely digitalizál vagy nyílt hozzáférést biztosít.

Egyre súlyosabb probléma

A jelentések szerint a jelenség 2024 végén jelent meg Észak-Amerikában, Európában és Óceániában, és a szakértők szerint folyamatosan rosszabbodik. Dean Seeman, a Victoria Egyetem könyvtárainak gyűjteményi és digitális infrastruktúrájáért felelős igazgatója azt mondta, a botforgalom néha olyan mértékű, hogy az oldalak egy időre teljesen leállnak. Ez szerinte „valódi problémát” jelent a nyilvános hozzáférés szempontjából.

Peter Lewis, az Ontario Tech Egyetem megbízható mesterséges intelligenciáért felelős kanadai kutatási professzora szerint a hétköznapi felhasználók gyakorlatilag versenyeznek a botfarmok végtelen forgalmával. Úgy látja, hogy nagy, magáncégek használják közjavat szolgáló intézmények tartalmait, és ezzel kereskedelmi modelleket építenek, amelyeket később eladnak.

Jó botok és rossz botok

Eric Hellman, a Project Gutenberg ügyvezető igazgatója tavaly blogbejegyzésben írta, hogy ezek a rosszul programozott „szörnyek” „rombolják a nyílt hozzáférést” az interneten. A CBC Newsnak azt mondta, azóta minden csak romlott. Szerinte a keresőmotorok és archiváló oldalak botjai követik a robots.txt fájlban rögzített szabályokat, az AI-adatgyűjtő botok viszont gyakran figyelmen kívül hagyják ezeket, és másodpercenként akár több ezer dokumentumot is letöltenek.

Az Észak-Karolinai Egyetem Chapel Hill-i kampusza tavaly arról számolt be, hogy egyetlen napon több mint 11 000 finn zenére irányuló keresést kapott több ezer különböző IP-címről, a könyvtári katalógus pedig időnként kizárta a diákokat és oktatókat. Hellman szerint a problémás IP-címek blokkolása már nem működik, mert egy cég vagy botfarm több ezer címről is dolgozhat.

Hellman elmondása szerint a Project Gutenberg szívesen engedi AI-tanítóadatként használni anyagait, sőt teljes könyvtárukat egykattintásos letöltéssel is elérhetővé teszi, „de a botok túl buták ehhez”. Michael Weinberg, a GLAM-E kutatócsoport társigazgatója szerint a Project Gutenberg anyagainak szinte mindegyike közkincs, és pontosan ilyen anyagokon kellene a modelleknek tanulniuk, csak tiszteletteljesebb módon.

Védekezés és a nyílt hozzáférés ára

Egyes könyvtárak CAPTCHA-ellenőrzést vagy más azonosítást vezettek be, de ezek a jó botokat is kiszűrhetik. Néhány könyvtár bejelentkezést is kér, amit a megkérdezettek el szeretnének kerülni, mert akadályt jelent az emberek számára. A szakértők szerint a fejlettebb botok később meg is tanulhatják kikerülni ezeket a módszereket.

A nagy AI-cégek azzal érveltek, hogy a nyilvánosan elérhető adatok gyűjtése a méltányos használat keretein belül és a közérdek szerint is megengedett. A széles körű kritikák és szerzői jogi perek nyomán azonban az Anthropic, az OpenAI, a Google és a Microsoft a múlt héten kiállt amellett, hogy egyetlen, szabványosított leiratkozási jelzést tiszteletben tartsanak.