米OpenAI、Google、Microsoft、Anthropicの主要AI開発企業4社は、Webサイト運営者やパブリッシャーが自サイトのコンテンツをAIモデルの学習データとして利用させるかどうかを単一の記述で一括指定できる新しい共通規格に共同で対応すると発表しました。
これまでニュースメディアやクリエイターが自サイトのAI学習を拒否したい場合、OpenAIの「GPTBot」やGoogleの「Google-Extended」、Anthropicの「ClaudeBot」など、AI企業ごとに異なるクローラー名を個別に調べて「robots.txt」ファイルへ1つずつ追記し続ける必要があり、運用上の大きな負担となっていました。
今回4社が採用を決めた新規格は、インターネットの国際標準化団体であるIETF（インターネット技術特別調査委員会）の作業部会「AIPREF」に提出された仕様に基づくものです。サイト運営者は「robots.txt」の中に「User-Agent: __usage_ai-training」という共通の指定を1つ書き加えるだけで、通常の検索エンジン表示やAIによるリアルタイム検索（グラウンディング）を妨げることなく、基礎モデルの事前学習へのデータ利用だけを4社横断で一括拒否・許可できるようになります。
Anthropicは即座に対応を開始し、OpenAIは今後数カ月以内、GoogleとMicrosoftは2027年初頭から順次この共通シグナルを尊重する運用へ移行します。Web上の著作権保護とAI開発の透明性を両立させる大きな一歩として注目されています（一次ソース：OpenAI / IETF 公式発表）。