Gary Illyes と Chery Prommawin は、非正規キャビネット シリーズの 2 番目のビデオをリリースしました。これは、robots.txt に実際に何を入れることができるのでしょうか?ここでは、robots.txt ファイルでサポートされるものとサポートされないものについて説明します。また、Google は機能やディレクティブをサポートしているかもしれませんが、他の検索エンジンや AI クローラーはサポートしていない可能性があります。
トップレベルの要点は次のとおりです。
- Googlebot は robots.txt ファイルを使用してクロールを制限します
- robot.txt ファイルは RFC 9309 に従う必要があります
- ルール パス内の英語以外の文字にはパーセント エンコーディングを使用する
- 詳細については、Google のドキュメントを確認してください
動画を聞いて感じたポイントをいくつか挙げておきます。
- 人間にとって理解できるように見えるという理由だけで、robots.txt ルールが機能していると想定しないでください。構文を検証し、実際の URL パターンをテストします。
- 国際文字や絵文字を含む URL をブロックする場合は注意してください。エンコーディングの不一致により、特に異なるクローラ実装間でルールが損なわれる可能性があります。
- クロール制御を AI トレーニング ポリシーから分離します。 AI クローラーがページにアクセスするのをブロックすることは、企業に対して、すでに取得したコンテンツでトレーニングしないように指示することとは異なります。
- 正しいクローラー名を使用してください。 AI クローラー ルールは、認識されたユーザー エージェント トークンを使用して対象のクローラーを識別する必要があります。
- robots.txt はセキュリティ メカニズムではないことに注意してください。準拠したクローラーが指定されたパスにアクセスしないように要求します。権限のないクライアントによるアクセスを防止したり、すべてのボットが準拠することを保証したりするものではありません。
ビデオの中で私のお気に入りの部分は、チェリーがキャビネットから額入りのジョン・ミューラーの写真を取り出し、ゲイリーに手渡すところです。
完全なビデオは次のとおりです。
トランスクリプトは次のとおりです。
Gary Illyes と Cherry Prommawin が robots.txt について話し合う
チェリープロマウィン: ゲイリー、ゲイリー。内閣が私に呼びかけています。
ゲイリー・イリーズ: あなたを呼ぶのは混沌だけです。チェリーさん、キャビネットは放っておいてください。
ゲイリー・イリーズ: 私たちはイベントの Q&A の奥深くにある未解決の問題に取り組んでいます。誰かが私たちに奇妙な質問をするたびに、それはすぐにここに来ます。
ゲイリー・イリーズ: 私たちは長年にわたって非常に多くの技術的な荷物を蓄積してきました。消防検査官があのドアを通っても、私はあなたのことを知りません、チェリー。
ゲイリー・イリーズ: そしてそれはすべて、この非正規のキャビネットの中に生きています。見よ。
チェリープロマウィン: ファイルキャビネットの立入禁止の標識。人々が中に登ろうとしているのではないかと心配していますか？
ゲイリー・イリーズ: ああ、チェリー、用心しすぎることはありません。
ゲイリー・イリーズ: この記号がここにあるのは、今日は Web サイトの門番である robots.txt ファイルについて話しているからです。
チェリープロマウィン: 私の人生の愛。
ゲイリー・イリーズ: Robots.txt というファイルは、Web サイトのルートに存在し、自動ボットに何ができるか、何ができないかを伝える単純なプレーンテキスト ファイルです。
チェリープロマウィン: とてもシンプルです。とても美しい。
ゲイリー・イリーズ: このルールは、検索エンジン クローラー、AI トレーニング クローラー、およびその他の正常に動作するクローラーに適用されます。
チェリープロマウィン: これは、クローラーのための一連のハウスルールのようなものです。
ゲイリー・イリーズ: Googlebot やその他の行儀の良いクローラーは、サイト上のコンテンツを確認する前に、まずこのファイルをチェックして、どの部屋が立ち入りを許可され、どの部屋が立ち入りを禁止されているかを確認します。
ゲイリー・イリーズ: そして、これはすべてインターネット標準である RFC 9309 によって定義されています。
チェリープロマウィン: とても美しい。
ゲイリー・イリーズ: ああ、分かった。
チェリープロマウィン: 人々が知りたいのは、このファイルを実際にどれだけ奇抜に作成できるかということです。綺麗にできるでしょうか？英語以外の文字を使用できますか?文字通りの一時停止標識の絵文字を使用して、AI ボットに外出しないように指示できるでしょうか?
ゲイリー・イリーズ: 真剣に？さて、机に行きましょう。
ゲイリー・イリーズ: robots.txt ファイルは個人的なアート キャンバスではありません。
チェリープロマウィン: プレーンテキストファイルです。
ゲイリー・イリーズ: 多くのクローラーがサイトにアクセスしたときに、どこへ行くことが許可されているかを確認するために、最初にこれを確認します。
ゲイリー・イリーズ: 彼らは実際に読めるものだけを気にします。
チェリープロマウィン: わかりました。少なくともコメント欄に、私のサイトを守る巨大な ASCII ニワトリのような楽しい ASCII アートを作成できますか?
ゲイリー・イリーズ: 技術的にはそうです。
ゲイリー・イリーズ: 行をハッシュで始めると、クローラーはそれらを完全に無視します。
ゲイリー・イリーズ: したがって、人生の選択には疑問がありますが、そこに巨大な ASCII ニワトリを貼り付けることはできます。
チェリープロマウィン: 以前、robots.txt ファイルの 97% がスクリプトで、わずか 3% のディレクティブで構成されている Web サイトを見つけました。
ゲイリー・イリーズ: パーサーが壊れたのでしょうか?
チェリープロマウィン: いいえ、帯域幅を無駄にしています。
ゲイリー・イリーズ: そう、チェリー。
チェリープロマウィン: それはあなたのウェブサイトではありませんか？
ゲイリー・イリーズ: たくさんのウェブサイトがあります。さて、チキン、絵を描くことは重要です。
ゲイリー・イリーズ: ただし、誤ってフォーマットを間違えると、危険な可能性があります。すでに述べたように、標準は RFC 9309 です。
ゲイリー・イリーズ: Google はその基準に従っています。パーサーは 1 行ずつ読み取ります。ユーザーエージェント、許可、禁止、サイトマップなどの特定のルールを検索します。
ゲイリー・イリーズ: 行をめちゃくちゃにしたり、間隔を工夫したりすると、システムは理解できない行を黙って破棄して先に進みます。
ゲイリー・イリーズ: シンプルな機械です。いくつかのコマンドで何をすべきかを知っているだけです。
チェリープロマウィン: はい、あなたが言ったように、4人です。
ゲイリー・イリーズ: 「シークレット ページをクロールしない」と書くと、Google は「クロールしない」を確認し、それが有効なルールではないことを認識して無視し、実際にシークレット ページをクロールする可能性があります。
チェリープロマウィン: ニワトリの絵文字を製品トークンとして使用するクローラーがあった場合はどうなるでしょうか?ユーザーエージェントのニワトリの絵文字を書いてもいいですか?
ゲイリー・イリーズ: チキンボットは止まるのか？
チェリープロマウィン: チキンボットがいる？
ゲイリー・イリーズ: 残念ながら、そうではありません。
ゲイリー・イリーズ: まあ、しかし、たとえ存在したとしても、ユーザー エージェント トークンには文字とダッシュしか含めることができません。
ゲイリー・イリーズ: 絵文字はマルチバイト UTF-8 文字ですが、その文字ダッシュの要件を満たすエンコーディングがわかりません。
ゲイリー・イリーズ: したがって、まったく機能しません。
チェリープロマウィン: 待ってください。つまり、英語以外の文字も含めることはできないということですか?
ゲイリー・イリーズ: ユーザー エージェント トークンにはニワトリの絵文字やその他の英語以外の文字は使用できません。
チェリープロマウィン: チキンは考えさせられました。
ゲイリー・イリーズ: サイト所有者が URL パスにチキンやローカライズされたテキストを使用するとどうなると思いますか?
チェリープロマウィン: ああ、英語以外の文字のことですね。おそらくドイツ語のウムラウト、ポルトガル語のセディラでしょうか？小さな帽子としっぽが付いた文字。
ゲイリー・イリーズ: そうですね、アラビア語、ヒンディー語、日本語、中国語など、まったく異なるアルファベットのセットも考えられます。
ゲイリー・イリーズ: これは、絵文字と英語以外の文字についても、実際にはまったく同じ概念です。
ゲイリー・イリーズ: ドイツのチキンのページのようなパス、または鶏小屋のようなおいしいフライドチキンのページへの完全な漢字のパスをたどります。
チェリープロマウィン: あなたの発音は驚くほどまともです、ゲイリー。あなたはサーバーログとコーヒーでのみ話します。私が今言ったことさえ分かりますか？
ゲイリー・イリーズ: お願いします、私はどの言語でも史上最高のフライドチキンのリズムを知っています。パーサーについてもう少し詳しく教えてください。
チェリープロマウィン: Googlebot は、HTTP クライアントが舞台裏で行うのと同じように、国際的なスクリプトやチキンを処理します。これらの文字はマルチバイト UTF-8 です。
チェリープロマウィン: Google のパーサーは柔軟で、中国語の文字、ドイツ語のウムラウト、絵文字をエンコードすることで自動的に翻訳します。
チェリープロマウィン: 実際、これは Google がコンテンツをクロールするときに行うことと同じことですが、ウェブ上の他のクローラーや古いクローラーは混乱する可能性があります。グローバルなインターネット インフラストラクチャ全体で安全を確保するには、robots.txt ルールでエンコードされたバージョンを使用する必要があります。
ゲイリー・イリーズ: クローラーの訪問をブロックしたいとします—
チェリープロマウィン: 鶏の絵文字を手に入れましょう。
ゲイリー・イリーズ: ここでは、サーバーが期待するものを反映し、パーセントでエンコードされた形式を実際に記述します。
チェリープロマウィン: robots.txt を話すすべてのボットが境界を尊重できるように、標準を維持してください。生の鶏肉などを処理できない場合、禁止ライン全体を無視して、保護しようとするすべてのものをクロールする可能性があります。
ゲイリー・イリーズ: それに付け加えることはまったくありません。
ゲイリー・イリーズ: さて、大きな問題である生成 AI について話しましょう。
チェリープロマウィン: 誰もが AI クローラーと会話する方法を知りたがっています。 robots.txt ファイルを使用して AI モデルに「私のサイトをクロールしてもいいですが、生成モデルのトレーニングに私のチキン日記を使用しないでください」と伝えることはできますか?
ゲイリー・イリーズ: それは良い話題ですね。
ゲイリー・イリーズ: したがって、RFC 9309 で定義されているように、robots.txt はアクセス優先プロトコルです。ボットに「このページはクロールしてもよい」、または「この他のページはクロールしないでください」と伝えるだけです。
ゲイリー・イリーズ: すでにデータをクロールした後に、システムがデータをどのように扱うかについては決まりません。
ゲイリー・イリーズ: つまり、disallow は露骨に「部屋に入らないでください」という意味になります。私のニワトリ日記を見ることやデータベースに記録することとは何の関係もありません。
チェリープロマウィン: 上海は鍋？
ゲイリー・イリーズ: そうです、AI ボットにサイトをクロールさせると、ロボットは robots.txt を任意のプレーンテキスト ファイルとしてではなく、機械可読ファイルとして処理します。
ゲイリー・イリーズ: 特定の AI クローラーによるページへのアクセスを完全に停止したい場合は、ファイル内でその特定のユーザー エージェント トークンを明示的にターゲットにする必要があります。
ゲイリー・イリーズ: 「no-I-chicken-chicken-diary」のような派手なカスタム ルールを作成することはできません。ボットのパーサーは、文字ごとにそれをゴミ箱に捨てます。
ゲイリー・イリーズ: 総括の時間です。
チェリープロマウィン: 最初に行きますか？
ゲイリー・イリーズ: まず、Googlebot などの行儀の良いクローラーは、robots.txt ファイルを使用してクロールを制限します。
ゲイリー・イリーズ: 次に、robots.txt ファイルは公式のインターネット標準である RFC 9309 に準拠している必要があります。
ゲイリー・イリーズ: 最後に、robots.txt ルール パス内の絵文字と英語以外の文字にはパーセント エンコーディングを使用して、すべてのクローラーにとって安全に保ちます。
チェリープロマウィン: 最後に、最後に、robots.txt についてさらに詳しく知りたい場合は、説明にある 2 つのリンクにアクセスし、ASCII アートを重要な指示から遠ざけてください。
ゲイリー・イリーズ: 退屈なままにしておきましょう。美しく退屈だ。
チェリープロマウィン: 非正規キャビネットから取得してほしい奇妙なソース コード、奇妙なルール、または完全に謎のフォルダーの断片がある場合は、下にコメントをドロップしてください。
ゲイリー・イリーズ: あるいは、しないでください。私たちは人生をどう生きるべきかを教えているわけではありません。
チェリープロマウィン: 次回のエピソードでは、404 について説明します。購読してさらにお楽しみください。
ゲイリー・イリーズ: これ以上はあり得ません。
チェリープロマウィン: おお。
