これは単なるランダムなヒントです。Cloudflare、コンテンツ配信ネットワーク、ホスティング サーバーの構成を誤らないように注意してください。この問題が頻繁に発生し、SEO 担当者が修正するのに非常に苦労しているケースを私は目にしています。突然、Google 検索でのランキングがガクンと落ち、ページが Google インデックスから外れ始めていることに気づくかもしれません。おそらく、Google によるサイトのクロールをブロックしていることが考えられます。
Cloudflare や同様のツールには大量の設定があり、その多くは AI ボットや不正なクローラーからサイトを保護することを目的としています。しかし、場合によっては、それらを読んだり理解しなかったりすると、ブロックするつもりのなかった検索エンジンや AI クローラーをブロックしてしまう可能性があります。だから、気をつけてください。
ジョナサン・バードは最近 LinkedIn で例を共有し、次のように述べました。
CloudFlareの設定には注意してください。 2 週間にわたってトラフィックが滞っていた Web サイトを修正する必要がありました。同社のマネージド IT プロバイダー (間違いやすい間違いなので名前は明かしませんが、致命的です) は、CloudFlare のクロール制御をオンにして、サイトをクロールするすべてのボットを停止しました。
これにより、Google によるサイトのクロールが完全にブロックされました。これは、彼らの Google 広告を壊し（彼らは喜んでお金を受け取り続けました）、すべての Merchant Center のリストが消え、Google がそれらの検索オーガニック トラフィックから削除したことを意味します。彼らのビジネスは 2 週間完全に打撃を受けましたが、今は回復し始めたばかりです。
これが彼のスクリーンショットです。
ブロディ・クラーク氏も、これを行っている別のサイトの例をLinkedInに投稿した、と彼は述べた。
これは SEO の惨事でした…コア アップデートやスパム アップデートの結果のように見えるかもしれませんが、実際はそうではありませんでした。
これはボットがオンライン マーケットプレイスのサーバー (これは多くのドメインの 1 つにすぎません) に大きな影響を与えた結果であり、チームはサイトを維持するためだけに SEO を破壊するファイアウォール レベルでボットのアクセス制限を導入する必要がありました。
損傷を示すスクリーンショットの一部を次に示します。
これは最近ではますます一般的になっていますが、これは新しいことではありません。 20 年以上前であっても、Apache ルールや robots.txt の設定ミスなどにより、Google やその他の検索エンジンのクロールをブロックしているサイトの例がどれだけあるかわかりません。しかし、現在ではさまざまなツールや設定オプションがあるため、さらに混乱する可能性があります…
だから注意してください。
