Google は、Google クロール レートを下げるためのドキュメントのいくつかの更新をプッシュしました。変更のほとんどはページ上のコンテンツに対する組織的なものですが、「クローラ トラフィックを緊急に削減する（緊急時）」セクションに、Google は Retry-After HTTP ヘッダーの使用方法に関する新しい情報を追加しました。
Googleは、「緊急時のクロールレート削減セクションを再構成し、Retry-After HTTPヘッダーに関する情報と例を『Googleのクロールレートを削減する』ドキュメントに追加した」と述べた。 Googleは、これを「Retry-After HTTPヘッダーのサポートは新しいものではなく（Webサイトを一時停止または無効にするですでに文書化されている）、クロールレート削減ガイドに直接追加することで、クローラートラフィックを緊急に削減する場合の検索と理解が容易になる」と付け加えた。
ライブドキュメントとアーカイブされたドキュメントを比較すると、ページ内で多くのものが移動していることがわかります。
最大の追加点は次のセクションです。
503 または 429 ステータス コードを返す場合、秒単位の遅延または絶対 UTC 日時を使用して、Google のクローラがリクエストを再試行できるタイミングを示す Retry-After HTTP ヘッダー (RFC 9110 HTTP セマンティクスで定義されている) を含めることもできます。
Google もサンプル コードを追加しました。スクリーンショットは次のとおりです。
Google は Googlebot を抑制する新しい方法を導入しているわけではなく、基礎となるメカニズムは変わっていません。 Google はすでに 500、503、429 の応答をクロールを減らすためのシグナルとして使用しています。新しいドキュメントでは、サイト所有者が 503 または 429 を使用するときに提供できる明示的な追加シグナルとして Retry-After が作成されています。
