Googleはまた、Bing、OpenAI、Anthropicと同様、世界的なインターネット標準設定団体であるIETFで検討中の、Webパブリッシャーやクリエイター向けのシンプルで合理的なAIトレーニング制御を作成する提案を自主的に採用する予定であると発表した。
Googleは、「これはウェブサイトが複数のAIプロバイダーにわたるAIトレーニングの設定をワンステップで表現できるようにするもので、インターネット技術特別委員会（IETF）のAIPREFワーキンググループの作業に基づいている」と述べた。
この新しい進行中のコントロールにより、Web サイトとパブリッシャーは、複数の AI プロバイダーにわたって AI トレーニングの設定を伝達する新しい方法が提供されます。これにより、各設定を個別にリストするのではなく、robots.txt 内の 1 つのステップで設定を呼び出すことができます。
Google はこれを 2027 年に実装する予定です。
Googleは私に、「オープンでクリエイターファーストのWebエコシステムを促進するという共通の取り組みの一環として、同業のAIプロバイダーと協力してこの取り組みを進め、WebサイトがAIトレーニングの好みを表現する簡単な方法を求めるパブリッシャー、市民社会、規制当局からのフィードバックを受けて進めていく」と語った。
AI 開発者ごとに個別の指示を管理する代わりに、Web サイト所有者は robots.txt 内の共有「ポリシー トークン」を使用して、参加する AI プロバイダー全体にわたって幅広い設定を行うことができます。
Google には、検索生成 AI 用の Search Console オプトアウト方法もあることに注意してください。
Google 検索擁護者のジョン・ミューラー氏は次のように書いています。
Web サイトがこのポリシー トークンを使用して robots.txt ファイル内のトレーニングをオプトアウトする場合 (Google-Extended が明示的に指定されていない場合)、Google はそれを、発行者が Google-Extended を許可していないかのように解釈する予定です。他の AI プロバイダーも同様に処理できるため、Web サイト所有者はすべてのプロバイダーでオプトアウトしたり、選択したりすることが簡単になります。
既存の企業固有の制御は、この新しい共同信号とともに引き続き機能します。そのため、Web サイト所有者は、業界のシグナルを使用して幅広い選択肢を簡単に表現できると同時に、Google 拡張などの制御を通じて Google などの個々の AI 開発者に合わせて指示を調整することもできます。特に Google Extended を許可する Web サイトは、応答に表示され、Gemini アプリのグラウンディングを介してクリックを受け取ることができます。
この新しいメカニズムにより、Web サイト所有者は IETF で開発された AI トレーニング定義の恩恵を受けることができる一方、AIPREF の残りの語彙については複数の関係者による議論が継続されます。より多くの業界関係者がこのメカニズムを採用するにつれて、Web サイト所有者は優先シグナルへのアクセスを早期に提供し、拡大することができます。
この提案草案は、AI トレーニングに対する業界全体の管理を求める出版社、市民社会団体、規制当局、その他の関係者からのフィードバックを反映しています。主要な AI プロバイダー全体でこの提案をサポートすることで、業界を超えた、堅牢で耐久性のある将来の標準が可能になります。この提案は、web パブリッシャーが機械読み取り可能な設定を表現するための主要な方法として robots.txt を認識する EU AI 法に基づく汎用 AI (GPAI) モデル プロバイダーに関する EU 実践規範と一致しています。私たちは今後もこれらの関係者と協力して、IETF ワーキング グループを通じてこれを改良し、標準化していきます。
私たちは、2027 年に他の AI プロバイダーとともにこの新しい制御をサポートすることを目指しており、進捗状況に関する最新情報を提供する予定です。
