Új fehérlistás módszerrel védi tartalmát a Reuters és a Time az AI-crawlerektől

A Reuters és a Time új stratégiát vezet be a botok blokkolására. Mindkét kiadó nemrég elkezdte alapértelmezetten blokkolni az összes AI-botot, és létrehozott egy fehérlistát a jóváhagyott botok számára, hogy hozzáférhessenek weboldalaik tartalmához. (AI for Newsroom)

A múlt hónapban a Reuters és a Time döntött a botok alapértelmezett blokkolása mellett. „Láttuk, hogy egyensúlyhiány van a Reutershez hasonló kiadók által nyújtott érték és a Reuters által kapott érték között” — mondta Josh London, a Reuters Professional vezetője.

Kapcsolódó: AI és fiatalok

A fehérlista működése

A Time jelenleg körülbelül 70 botot engedélyez a weboldal tartalmának elérésére — közölte Mark Howard, a lap COO-ja. Ezek a botok a nagy AI-labortól és közösségi platformoktól származó crawlerekig terjednek, beleértve a Time saját weboldalának működtetéséhez használt automatizált rendszereket is.

Kapcsolódó: AI árbevezetés

A Reuters a robots.txt fájlok használatával blokkolja az AI-botokat. Ez a módszer nem teljesen megbízható, mivel sok AI-bot figyelmen kívül hagyja.

Kapcsolódó: AI keresőoptimalizálás

A botok elleni védelem

A súrlódáskeltés visszatartó erőként is működhet az AI-botok számára. Lindsay Van Kirk, a People Inc. innovációért felelős alelnöke elmondta, hogy amikor a kiadó a „block list”-ről „allow list”-re váltott, a blokkolt felhasználói ügynökök száma 2100-ról több mint 30 000-re nőtt.

Kapcsolódó: Kétpályás internet

A Reuters a múlt két évben gyűjtött adatok alapján készítette el a blokkolandó botok listáját, anélkül, hogy a bevételkiesést okozna. A Reuters robots.txt fájlja szerint a kiadó engedélyezi néhány botnak, például az Amazon, a Google, a Bing, a Yahoo és a ChatGPT felhasználói ügynökének a hozzáférést. Az SPUR Coalition, egy kiadói csoport, amely idén alakult jelentős hírügynökségekkel, a múlt héten 30 új tagot vett fel, hogy technikai szabványokat hozzanak létre az AI-licencelés és a tartalomvédelem terén a Microsoft és a Meta részvételével 2026-ban.

Kapcsolódó: AI podcastelemzés