Blokkolhatják az AI-képzést a weboldalak a Cloudflare új beállításával

A vegyes használatú (mixed-use) robotok jelentették a fő akadályt a képzési kérdésben, mivel ezek egyszerre szolgálják a keresést és az AI-képzést. A következő lépés az AI-összefoglalók (AI Summaries) kezelése, amihez a weboldal-tulajdonosoknak nem csupán egy egyszerű „igen” vagy „nem” válaszlehetőség áll rendelkezésére, hanem az is számít, hogy tartalmuk mekkora része jelenik meg egy összefoglalóban. (Hacker News)

Az AI-összefoglalókból való kimaradás már most is követelmény a vegyes használatú robotok üzemeltetői számára. A Cloudflare célja, hogy a jövőben lehetővé tegye a felhasználók számára tartalmuk mértékének szabályozását az összefoglalókban, egy központi beállítással.

Miért nem elég a robots.txt?

A „robots.txt” irányelv önmagában nem oldja meg a problémát. Bárki közzétehet egyet, de az nem tudja azonosítani a mászó robot kilétét, célját, és nem állíthatja meg a figyelmen kívül hagyó robotokat.

Egy hálózat azonban képes erre: a Cloudflare közzéteszi az elvárást, azonosítja a mászó robotokat, osztályozza a mászás okát, és blokkolja azokat, amelyek figyelmen kívül hagyják az irányelvet – majd riportálja, hogy az egyes üzemeltetők valójában mit tesznek a Radar felületén. A blokkolás azonban nem változtat a robotok viselkedésén. A jobb eredmény az, ha az üzemeltetők nem kényszerítik a választásra a weboldal-tulajdonosokat.

Viselkedésalapú osztályozás és beállítások

A Cloudflare a robotokat viselkedésük alapján osztályozza. Három viselkedésvezérlő áll rendelkezésre: Keresés (Search) – a keresőindex építéséhez mászó robotok; Képzés (Training) – modellek képzésére vagy finomhangolására mászó robotok; Ügynök (Agent) – emberi felhasználó nevében oldalakat látogató, felhasználó által irányított ügynökök, mint például csevegőbotok. A vegyes használatú robot egyszerre végez Keresést és Képzést. Ennek kiküszöbölésére vezeti be a Cloudflare az új „Disallow AI Training” beállítást. Ez a beállítás a „Disallow:” irányelvet teszi közzé a „robots.txt” fájlban.

A „Block” és „Block on pages with ads” (Blokkolás hirdetett oldalakon) beállítások mostantól a vegyes használatú robotokra is vonatkoznak, beleértve az Applebotot, a Bingbotot és a Googlebotot, így mindkét beállítás hatással van a keresésre és a képzésre is. Ha teljesen el akarja távolítani a vegyes használatú robotokat, válassza a „Block” lehetőséget.

Ez meg fogja állítani az Applebot, Bingbot és Googlebot elérését az Ön webhelyére – beleértve a keresést is. A „Block AI Bots” beállítás megszűnik, helyét a granuláltabb Keresés, Képzés és Ügynök vezérlők veszik át. A „Managed Robots.txt” helyett a „Bot Preference Sync” fog működni. Az új beállítások szeptember 15-től lépnek életbe.