Google の Gary Illyes は最近、Odys Podcast のホストである Aneta Samkoff からインタビューを受けました。話題はボットとクローラーに関するものばかりで、広範囲に及んでいました。ゲイリー氏は、AIのせいでボットのなりすましが今ではさらに問題になっていると語った。ボットのなりすましとは、Googlebot のふりをするなど、不正なボットが他人になりすますことです。
ゲイリー氏は、ボットのなりすましが昨今大きな問題となっている理由について「AIだと思う」と語った。同氏は、「基本的に、たとえば自社のモデルをトレーニングするためのトークンを探している企業がますます増えており、それにはコンテンツが必要だ。そして、基本的にインターネットは、必要なものを何でも収穫できる大きな農場だという考えだ。そして、ファイアウォールとCDNは一般に、これらのクローラーを識別する機能がますます良くなっているが、完璧ではない。そのため、依然として阻止すべきトラフィックの一部を通過させており、誰が自分をクロールしているのかを知るだけで、基本的に誰がサイトにアクセスすべきか、誰がアクセスすべきかを自分で決定できるようになる」と述べた。そうではありません。
人々がボットになりすますのは、小規模な AI エンジンを実行している場合、またはサイトをスクレイピングしたい場合に、自分が Googlebot であると言え、侵入させられるためだと私は考えています。そうしないと、ブロックされる可能性があります。もちろん、ユーザーエージェントが Googlebot であるかどうか、それが本当に Googlebot であることを検証する方法は他にもあります (逆引き DNS 検証や IP アドレスなど)。
ビデオは次のとおりです。
このビデオの重要なポイントは次のとおりです。
- 誰でも約 30 秒で Googlebot になりすますことができます。クローラーのユーザー エージェント ヘッダーを変更するのは非常に簡単です。 Illyes氏は、クローラーを引き寄せるオンラインハニーポットを設定し、Googleとは関係のないIPアドレスから来るGooglebotを名乗るリクエストを発見したと述べた。ウェブサイト所有者は、Googlebot ユーザー エージェントだけを信頼すべきではありません。 IP アドレスと逆引き DNS 情報を確認する必要があります。
- AI により、ボットのなりすましがさらに大きな問題になっています。Gary Illyes 氏は、企業が AI モデルをトレーニングするためにインターネット コンテンツを収集していることに懸念が高まっていると考えています。ファイアウォールと CDN は偽のクローラーの検出能力を向上させていますが、すべてを捕捉できるわけではありません。 Web サイトをクロールしているユーザーを特定すると、サイト運営者がどのトラフィックを許可するかを決定するのに役立ちます。
- 偽のクローラーはウェブサイトを圧倒し、ウェブサイトをオフラインにする可能性があります。Google はウェブサイトのリソースを使い果たさないように、クロール インフラストラクチャを調整するために何年も費やしてきました。他のクローラーには同じ保護機能がない場合があります。不適切に構成されたボットは、URL を繰り返しリクエストし、帯域幅とサーバー リソースを消費し、正規の訪問者がサイトにアクセスできないようにする可能性があります。イリエス氏は、今日の被害の多くは、意図的な攻撃ではなく、無知や不適切な実装に起因する可能性があると述べています。
- robots.txt はセキュリティ メカニズムではありません。Gary Illyes 氏は、robots.txt は強制可能な制限ではなく提案であると説明しています。正規のクローラーは通常これを尊重しますが、ボットはこれを無視する可能性があります。不要なトラフィックをブロックする必要がある Web サイト所有者は、Web アプリケーション ファイアウォール (WAF) などのネットワーク レベルの保護を使用する必要があります。
- Google はすでに、検索クロールを特定の AI の使用から分離しています。ウェブサイト所有者は、Google 拡張の robots.txt トークンを使用して、特定の Google AI モデルやサービスのトレーニングや改善のためのコンテンツの適格な使用を制限しながら、Googlebot が検索用のページをクロールできるようにすることができます。 Illyes は、Apple も同様の Applebot-Extended トークンを持っていると指摘しています。同氏は、さまざまな種類の自動化されたクライアントのアクセス制御がより細かくできる可能性があると予想しています。
- 暗号署名によりボットの検証の信頼性が高まる可能性があります。Gary Illyes が、暗号署名された HTTP リクエストを含む取り組みである Web Bot Auth について説明します。 Web サイトは、IP アドレスやユーザー エージェント文字列だけに依存するのではなく、署名を公開キーと照合して、要求が本当に要求された組織からのものであるかどうかを確認できます。 IP アドレスの管理がより困難になり、コストがかかるようになるため、これにより認証が簡素化される可能性があります。
- ボットの評判スコアは、将来の開発の可能性があります。Gary Illyes 氏は、まだ初期段階のアイデアではあるものの、クローラーの評判システムのアイデアを検討している (彼は robots.txt の人々と協力しています) と述べています。このようなシステムは、ボットが責任を持って動作するかどうかについて、Web サイトやセキュリティ プロバイダーからのフィードバックを集約する可能性があります。同氏は、1つの企業によって管理されているシステムではバイアスが生じる可能性があると警告している。
- ほとんどの小規模な Web サイトでは、ボットについてすぐに心配する必要はありません。彼のアドバイスは、保護に投資する前に、ボットのトラフィックが実際に問題を引き起こしているかどうかを判断することです。サポートが必要なサイトにとって、ボット管理機能を備えた CDN は実用的な出発点となります。 Shopify などのホスト型プラットフォームはすでに保護機能を提供しています。大規模なサイトや人気の高いサイトでは、最終的にはより高度な制御が必要になる場合があります。
不正なボットから身を守るために実行できる手順をいくつか示します。
- Googlebot を適切に検証します。 ユーザー エージェント文字列だけを信頼するのではなく、Google が公開しているクローラー IP 範囲と逆引き DNS を確認してください。
- サーバーのログを監視します。 疑わしいクローリング パターン、予期しない IP アドレス、異常に頻繁なリクエストを探します。
- CDN または WAF を使用します。 望ましくないボットがサイトのパフォーマンスやセキュリティを脅かす場合は、ネットワーク レベルの保護を適用します。
- robots.txt を構成します。 ルールが悪意のあるボットに準拠を強制できないことを認識しながら、どの準拠クローラがコンテンツにアクセスできるかを指定します。
- 検索アクセスを AI アクセスから分離します。 サポートされている場合は、適切なクローラー固有のディレクティブを使用して、コンテンツのインデックス作成および AI 関連の使用に関する設定を表現します。
詳細については、ヘルプ ドキュメント「Googlebot とは、および Googlebot リクエストを確認する方法」を参照してください。
