Minden harmadik weboldallátogatás botoké lett a Known Agents adatai szerint

A weboldalak látogatottságának 35%-át teszik ki a botok, ami 1%-os csökkenés az előző 90 naphoz képest. Az AI-alapú botok, más néven „agentifikáció” forgalma azonban drámai mértékben, 11%-kal nőtt, elérve a teljes forgalom 29%-át. (Hacker News)

Ezzel szemben az AI-chat rendszerek, mint a ChatGPT vagy a Claude, emberi látogatóktól származó forgalma 9%-ot esett, mindössze 0,1%-ot téve ki a teljes emberi forgalomból. Ez arra utal, hogy bár az AI-botok aktívan gyűjtik az adatokat és indexelik a tartalmakat, a közvetlen felhasználói interakciók csökkenhetnek.

Botok viselkedése és eloszlása

A botok 98,5%-a betartja a robots.txt szabályokat, ami azt jelenti, hogy a weboldal-tulajdonosok viszonylag hatékonyan tudják szabályozni a tartalmukhoz való hozzáférést. A legaktívabb botok között a keresőmotorok (bingbot 8,2%, Googlebot 7,9%) és az SEO-elemzők (AhrefsBot 6,3%) dominálnak. Az AI-specifikus botok közül a „Known Agent” (fejlesztői segítő) 5,5%-kal, a ChatGPT-User 3,3%-kal, a ClaudeBot pedig 3,2%-kal képviselteti magát.

Adatgyűjtő botok vezetői

Az AI-adatgyűjtő botok, mint az AI Data Scraper és az AI Data Provider, jelentős szerepet játszanak a webes tartalom feldolgozásában. A ClaudeBot SCRP (AI Data Scraper) 27%-os részesedéssel vezeti az AI-adatgyűjtők listáját, amit a meta-externalagent SCRP (19,3%) és az Amazonbot SCRP (19,1%) követ. Ezek a botok weboldalak tartalmát töltik le, hogy adatbázisokat képezzenek az AI-modellek betanításához.

A leggyakrabban látogatott weboldal-kategóriák között a jogi és kormányzati (6,1%), az online közösségek (5,9%), valamint a kert és otthon témakörök (5,6%) szerepelnek. A Known Agents adatai szerint ezek a szektorok alkalmazzák a legintenzívebben az AI-alapú felderítést.