AI-cégek új protokollal engedik meg a tartalomkizárást a betanításhoz

A Google, a Microsoft, az Anthropic és az OpenAI is bejelentette, hogy támogatja az új mechanizmust, amely lehetővé teszi a webkiadók számára, hogy tartalmaik AI-modellek betanítására való felhasználását megtiltsák. A protokoll 2027-től válhat alapértelmezetté. (AI for Newsroom)

A javaslatot, amelyet október 30-án tettek közzé, az IETF AI Preferences (AIPREF) munkacsoport keretében dolgozták ki, amely a robots.txt fájlok formátumát szabályozó RFC 9309 protokollon alapul.

Az IETF AI Preferences (AIPREF) munkacsoportja

Az új javaslat azután született, hogy évek óta viták zajlanak a kiadók és a webet feltáró cégek között. Közel két évvel ezelőtt az Internet Engineering Task Force (IETF) elindította az AI Preferences („AIPREF”) nevű kezdeményezést, hogy új szabványokat fejlesszenek ki, amelyek lehetővé teszik a webhelyek számára, hogy automatikusan kifejezzék preferenciáikat a tartalom AI-célú felhasználásával kapcsolatban.

Ez a munka az RFC 9309: Robots Exclusion Protocolon alapul, amely a „robots.txt” fájlok formátumát szabályozza. Az Anthropic, a Google és a Microsoft képviselői aktívan részt vesznek az AIPREF csoportban, míg az OpenAI hozzájárulása minimális volt, annak ellenére, hogy a cég szerint a bejelentés „erősíti folyamatos részvételüket az IETF szabványosítási megbeszélésein”.

A „policy token draft” és a de facto szabvány

A múlt héten bejelentett javaslatnak nincs hivatalos státusza az IETF-ben. Azonban ha a négy legnagyobb AI-szolgáltató (Google, Microsoft, Anthropic, OpenAI) támogatja, és a webhelyek üzemeltetői is átveszik a robots.txt fájljaikban, de facto szabvánnyá válhat.

A javaslat, amelyet október 30-án tettek közzé, egy „individual draft”, ami azt jelenti, hogy nincs hivatalos állása a szabványosítási folyamatban. Az AIPREF munkacsoport már rendelkezik két másik, előrébb tartó javaslattal: egy a preferenciák szókincsét, egy pedig a robots.txt fájlokban való kifejezését érinti. A „policy token draft” még nem élvez ilyen konszenzust.

Hiányzó keresési preferenciák és az inference fókusz

A javaslat kifejezetten az „AI training” definíciójára támaszkodik, és egy egyszerű módot kínál a webhelyek számára, hogy megtiltsák az összes crawler számára az AI-képzést. Azonban figyelemre méltó, hogy a javaslat nem tartalmaz hasonló mechanizmust a keresési célú felhasználásra, különösen annak fényében, hogy a webes keresés piacának szinte teljes egészét képviselő két cég (Google és Microsoft) már aláírta a támogatást.

A kiadóknak a keresési preferenciák kifejezésére való képtelensége több joghatóságban is szabályozási vizsgálat tárgyát képezte. A javaslat fókusza a képzésre erősíti a modellképzésen kívüli, például inference-idejű felhasználások körüli nehéz megkülönböztetést.

A négy nagy szolgáltató kötelezettséget vállalt arra, hogy 2027-re implementálja a mechanizmust. Az EU Általános Célú Mesterséges Intelligencia Kódexének (EU General-Purpose AI Code of Practice) részeként a cégek vállalják, hogy betartják a géppel olvasható preferenciákat, miközben az OpenAI hozzájárulása az IETF megbeszéléseire korlátozott maradt.