Gary Illyes と Chery Prommawin は、非正規キャビネット シリーズの最後のビデオをリリースしました。これは CDN (コンテンツ配信ネットワーク) 上にあります。彼らは、ウェブサイトを CDN に移行すると Googlebot のクロール アクティビティが突然増加する理由、これによってオリジン サーバーに過負荷がかかる理由、および Google のクローラーを誤ってブロックしないようにする方法について説明します。
Google もこのトピックに関する新しいブログ投稿を投稿しました。
ビデオは次のとおりです。長さは 10 分未満です。
このエピソードでは、「Googlebot が新しく設定した CDN を攻撃する理由、何に注意すべきか、そして状況に冷静に対処する方法」について次の内容を含めて説明しています。
- クローラーの過剰な熱意: CDN に移動するとクローラーがクロール速度を高める理由
- キャッシュミスとオリジンサーバー: ユニークな初回リクエストごとに、オリジンサーバーが依然として重労働を行うのはなぜですか
- 包括的なボット保護: すべてのボットを積極的にブロックすることは効果がありますか?
- CDN 発売日を乗り切る方法: サーバーの崩壊を防ぐためにできること
CDN は優れていますが、CDN に移行すると、特に検索エンジン クローラーで予期せぬ問題が発生することがあります。
Googlebot は、ウェブサイトがリクエストにどれだけ早く応答するかを自動的に監視します。 Web サイトが CDN に移行すると、応答時間が大幅に短縮される可能性があります。その結果、Googlebot はこのパフォーマンスの向上を、より多くのページをより高い速度でクロールする機会として解釈する可能性があります。そのため、Web サイトが突然、以前よりも大幅に多くのクロール リクエストを受信する可能性があります。
CDN を初めてデプロイするとき、そのキャッシュは最初は空です。これは、Web サイトのコンテンツのコピーがまだないことを意味します。 Googlebot が 100,000 個の一意の URL のクロールを開始すると想像してください。これらのページがまだキャッシュされていない場合、CDN はオリジン サーバーから各ページを取得する必要があります。そのため、CDN を実装している場合でも、オリジン サーバーでは最初のクロール中に大量のトラフィックが急増する可能性があります。 CDN は、オリジン サーバーをすべてのリクエストから即座に保護するわけではありません。その有効性は、すでにキャッシュされているコンテンツの量に部分的に依存します。
開発者は、クロール アクティビティの突然の急増に気づいた場合、Web サイトが悪意のあるボットによって攻撃されていると考える可能性があります。これに応じて、CDN を通じて積極的なボット保護を有効にする可能性があります。問題は、これらの保護機能が Googlebot などの正規の検索エンジン クローラーを誤ってブロックしてしまう可能性があることです。正規の検索エンジン クローラーをブロックすると、元のクロール アクティビティの増加よりもはるかに大きな SEO 問題が発生する可能性があります。
CDN に移行する場合の適切なアプローチは次のとおりです。
- CDN キャッシュを準備して事前にウォームアップします。
- 検証済みの検索エンジン クローラーを許可します。
- 悪意のあるボットを選択的にブロックします。
- レート制限を使用して過剰なトラフィックを管理します。
- サーバーの健全性とクロール アクティビティを監視します。
このコンテンツのすべてではないにしても、ほとんどは、次のような Google のヘルプ ドキュメントから引用されています。
