GoogleとMicrosoft、OpenAI、Anthropicの4社が、ウェブサイトがAI学習への利用を一括で拒否できる共通の仕組みを支持すると発表しました。これまでサイト側はクローラーごとに別々のルールを書く必要がありましたが、robots.txtに1行加えるだけで済むようになります。ただしGoogleの対応は2027年予定で、仕組みの実装時期は各社でばらつきがあります。
Anthropicが起草した共通opt-outにGoogleとMicrosoft、OpenAIが追随
AnthropicのKevin Kelley氏が、IETFのAI preferencesメーリングリストに技術仕様の草案を公開しました。これはrobots.txtという、サイトがクローラーに「何を取得してよいか」を伝える既存の仕組みを使うものです。サイト管理者は__usage_ai-trainingという新しい「ポリシートークン」のグループを追加し、AI学習に使ってほしくないパスを列挙します。草案の例では、プレスキット以外のサイト全体をブロックする設定が示されています。
草案が公開されたのと同じ日に、Google、OpenAI、Microsoftの3社がこの仕組みを支持すると表明しました。Microsoft Bingのプリンシパルプロダクトマネージャー、Krishna Madhavan氏は「パブリッシャーは、Bingで見つけてもらうことと、生成AIモデルが自分たちの著作物をどう使うかを決めることの、どちらかを選ばされるべきではない」と述べています。この発言から読み取れるのは、検索での露出とAI学習拒否を両立させたいという狙いですが、実際にどこまで両立するかは各社の実装次第という点に留意が必要です。
対応スケジュールは一様ではありません。Anthropicはすでに作業を始めていますが、Kelley氏自身が「サービス全体に対応を広げ、避けられない複雑な事情や例外ケースを解決していくには時間がかかるだろう」と書いています。既存のクローラー制御を置き換えるのではなく、補完する位置づけだとも説明しています。OpenAIは「今後数カ月」での実装を目指すとしており、GPTBotなど既存の制御はそのまま維持すると述べています。一方Googleは2027年の対応を掲げ、クローラー向けドキュメントでは「2027年早期」と明記しています。Google-Extendedという同社独自のAI学習制御については、サイトがこの新トークンでopt-outしながらGoogle-Extendedに言及しなかった場合、GoogleはGoogle-Extendedへのブロックとして扱う方針です。Google Search AdvocateのJohn Mueller氏は、Google-Extendedを許可しているサイトはGeminiアプリの回答に表示され、クリックを得られると説明しています。
Microsoftは2027年2月1日からこの新しい仕組みを運用に反映させる予定です。これは2023年から使ってきたNoArchiveタグとNoCacheタグに置き換わるものです。加えてMicrosoftは、AIの回答が生きたウェブページを参照する「グラウンディング」について、ページ単位の別設定も追加します。一方の選択肢はCopilotなどMicrosoft自社製品向けのグラウンディングを許可するもので、Microsoftが他社に販売しているグラウンディングサービスはブロックする仕組みです。
草案自体は、このトークンが「サイトがコンテンツをどう使われたいかという希望を示すもの」であり、「クローラーへの命令ではない」と明記しています。ライセンスや支払いの取り決めを意味するものでもないとされています。AIのグラウンディングをブロックすると「AIが生成する体験の中でのコンテンツの可視性は大きく落ちる」とも記されていますが、Bingの検索結果での順位自体は変わらないとのことです。
Meta のコミュニケーション責任者Andy Stone氏はX上で共通シグナルへの支持を表明したと The Verge が報じていますが、Metaがこの仕組みを実際に採用するかどうかは明らかにしていません。
用語補足：robots.txtとopt-out
robots.txtは、サイト運営者が検索エンジンやAIクローラーに「どのページを取得してよいか」を伝えるためのテキストファイルで、以前から広く使われている仕組みです。今回の新トークンは、このファイルの中に「AI学習に使わないでほしい」という希望を書き込む共通のルールを追加するものです。ただし出典記事にある通り、これはあくまで希望の表明であり、クローラーに対する強制力を持つ命令ではありません。サイト側が設定しても、各社が実際にどこまで尊重するかは対応時期や実装内容によって変わります。
Googleは、この提案がEUのAI法に基づく汎用AI実践規範と整合していると述べています。同規範はrobots.txtを、パブリッシャーが機械可読な希望を示す主要な手段として認めているとのことです。草案の謝辞には、Financial Times、BBC、Bertelsmann、European Publishers Councilのスタッフが議論に関わったと記されています。
パブリッシャー側からは支払いを求める動きもありました。7月にはCloudflareがAIクローラーに対して「支払うかブロックされるか」を迫ったと報じられており、同社CEOはボットのトラフィックが人間の1,000倍に達しかねないと警告したとされています。オーストラリアではABCとSBSが、AI企業にニュースへの対価を求めています。
詳細はTNWの記事で確認できます。
注目ニュース
フランス国民議会、データ通信量に課税する税制を可決
フランスの国民議会が、企業がフランスの利用者に送信するデータ1ギガバイトごとに課税する修正案を可決しました。税率は1ギガバイトあたり0.055ユーロで、社会党の提案者は年間100億ユーロ（約1兆7,600億円）の税収を見込んでいます。採決は賛成11、反対10、棄権14という僅差で、政府と財政委員会はいずれも反対していました。この案はまだ予算審議の初期段階で、法律として成立するには残りの過程を乗り越える必要があります。負担の半分は中小のコンテンツ提供者が負うとの試算もあり、金額にすると約50億ユーロ（約8,820億円）です。VLCメディアプレーヤーを開発する非営利団体VideoLANは、この税が年間100万ユーロ（約1億7,600万円）超のコストになると発言しています。上院は保守系の共和党が多数派を占めており、可決される見通しは立っていません。TNW
Canonical、LXDとMicroCloudの深刻な脆弱性を公表
Canonicalのコンテナ管理ソフトLXDとMicroCloudに、CVSS基準で最高値の10.0に相当する脆弱性が見つかりました。攻撃者はHTTPS APIにネットワーク経由でアクセスでき、かつ信頼されたクライアントの公開証明書を持っていれば、その秘密鍵を持たないまま、そのクライアントとしてログインできたとされています。侵入後は、そのクライアントの権限でクラスタや仮想マシンにアクセスできる状態になります。公開情報だけでは、影響を受けた利用者の規模や修正の提供状況までは判断材料が不足しています。The Hacker News
トランプ大統領、ロボット輸入を安全保障上の脅威と認定
トランプ大統領が10月28日、ロボットと産業機械の輸入に関する通商協議を命じる布告に署名しました。商務省の調査により、外国製のロボットや産業機械が安全保障上の脅威になりうると判断されたためです。根拠は1962年通商拡大法の第232条で、現時点では関税は設定されていません。商務長官とUSTRが180日以内に大統領へ状況を報告し、交渉がまとまらなければ関税や数量制限などの措置を検討するとされています。米国は2025年に産業用ロボットを約38,500台導入しており、前年比12%増で世界2位の市場です。重量物を扱うロボットアームは日本のFANUC、スイスのABB、ドイツのKUKAなど外国企業に依存しており、同等品を作る米国企業はないとArs Technicaが報じています。TNW
FBI、北朝鮮系ハッカー集団をBinance関連の64億3,000万ドル窃取事件に関連づけ
FBIが、64億3,000万ドル（約1兆100億円）相当の仮想資産流出事件について、北朝鮮と関係するハッカー集団TraderTraitor(別名Jade Sleet、Pressure Chollima、PUKCHONG、Slow Pisces、UNC4899)の関与を正式に認定しました。米シークレットサービスと内国歳入庁犯罪捜査部も捜査に加わっています。60億ドル（約9,450億円）という数字も事件の規模として言及されており、仮想資産を狙う攻撃としては記録的な規模になります。The Hacker News
編集後記：opt-outの実装時期がバラバラという点
今回の発表で引っかかるのは、4社が同じ仕組みに賛同しながら、実装時期にここまで差がある点です。Anthropicは草案と同時に作業を始め、OpenAIは数カ月以内、Microsoftは2027年2月から、Googleに至っては2027年早期という表現にとどまっています。サイト運営者が今日robots.txtに新しいトークンを書き込んでも、各社が実際にそれを尊重し始めるまでには1年以上の開きが生じる計算です。草案自体が「命令ではなく希望の表明」と位置づけている以上、この空白期間にどう振る舞うかは各社の裁量に委ねられたままだと言えます。