Cloudflare、AI学習だけを拒否できる「Disallow AI Training」を提供開始

Cloudflareは、従来の「Block AI Bots」という一括スイッチを廃止し、検索、AI学習、AIエージェントの3つを個別に設定できる管理機能に置き換えます。新たに開設されるサイトには、ビジネスモデルに応じた推奨設定が提示されます。広告を掲載しているサイトでは検索クロールを許可し、AI学習を拒否し、広告掲載ページではAIエージェントをブロックする設定が推奨されます。それ以外のサイトでは、3つすべてを許可する設定が推奨されます。

Cloudflareは、クローラー運営者が満たすべき4つの要件を定め、これを満たす事業者を「Accountable」として認定する仕組みを設けました。要件には、AI学習の明確な拒否手段の提供、AI要約からのオプトアウト手段の提供、URL単位での利用方法の開示、検索順位への影響がないことの明言が含まれます。Apple、Google、Microsoftの3社は、これらの基準をすでに満たしている、または満たすための具体的な期限を示したことから認定されました。検索用とAI学習用でクローラーを分けて運用している主要AI企業のクローラーも、検索に影響を与えずに学習クローラーだけをブロックできるため「Accountable」に分類されています。基準を満たさないその他の兼用クローラーは、サイト側がAI学習を拒否した時点でブロックされます。Cloudflareの共同創業者兼CEOであるマシュー・プリンス氏は、検索のオープン性を保ちながらウェブサイト運営者がコンテンツの使われ方をコントロールできるようになると述べています。

検索インデックス用とAI学習用のコンテンツを1つのクローラーでまとめて収集する兼用クローラーは、Cloudflareのネットワークで確認されるクローラートラフィックの36.6%を占め、単独で最大のカテゴリーとなっています。一方で、サイト運営者の17%がAI学習を制限しているのに対し、検索クローラーを拒否しているサイトは1%未満です。これまでは、適切な制御手段を持たないクローラーが相手の場合、AI学習を拒否すると検索結果からも消えてしまう問題がありました。

Cloudflareは、IETFにおける標準化の取り組みにも参加しており、策定中の仕様「ai-prefs」は、ウェブサイトがAIアクセスに関する意向を標準化された形で表明できるようにするものです。また、AI要約からのオプトアウトについて、現状は事業者ごとに個別設定する形ですが、来年初めまでに1カ所でまとめて管理できるようにすることを目標としています。

A. 検索結果には表示され続けたまま、AI学習への利用だけを拒否できるCloudflareの新設定です。

A. 認定されたクローラーは、サイト側がAI学習を拒否しても検索用のクロールを続けられます。認定の要件には、AI学習の拒否が検索順位に影響しないことを公に明言することが含まれます。

A. 検索クロールは許可し、AI学習は拒否し、広告掲載ページではAIエージェントをブロックする設定が推奨されます。

• Cloudflare Radar
• Have it both ways: stay discoverable in search while disallowing AI training
• Content Independence Dayから1年：エージェンティックインターネットのビジネスモデル構築

O!Productニュース編集部からのコメント

広告を載せるサイトには、検索は許可、AI学習は拒否という推奨設定が示されるので、メディア運営の担当者が自社の設定を見直すきっかけになりそうです。

引用元：PR TIMES