Google の John Mueller 氏は、robots.txt ファイルを使用して Web サイト上のポップアップ ダイアログが Google 検索に表示されないようにする方法を説明しました。彼は、ポップアップに JavaScript を使用している場合にこれを行う方法について説明しました。
この質問は、これらの合法的なポップアップが Google 検索に表示されたり、Google によってインデックスされたりするのをブロックする方法を尋ねる Reddit に投稿されました。質問は次のとおりです。
たとえば、websiteA.com という Web サイトを持っているとします。法的な理由により、別のドメインにある年齢確認ポップアップがあり、API を介してページに挿入されます。それをverificationpopup.comと呼びましょう
Google がこれを表示できないようにしたいとします。verificationpopup.com/robots.txt に禁止を追加すると、Google はポップアップを表示できなくなりますか?
ジョン・ミューラー氏は「それは一般的にはうまくいくだろう」と答えた。 「これを行うために特定の JS スクリプト ファイルを使用している場合は、robots.txt を介してその特定の JavaScript ファイルを禁止することもできます」と彼は付け加えました。彼はまた、「たくさんのことを行う JS ファイルが 1 つしかないなら、私はそんなことはしないだろう」とも言いました。
これら 2 つのオプションを使用した彼のより詳細な応答は次のとおりです。
- 埋め込みサイトのコンテンツは robots.txt によってブロックされています。 verifypopup-com からのコンテンツをサイトに埋め込み (iframe 経由、verificationpopup-com のスクリプト呼び出しなど)、verificationpopup-com がすべてのクロールを禁止している場合、robots.txt に従うクローラー (Googlebot など) はそのコンテンツを取得せず、レンダリングに使用しません。これが多くの広告サービスの仕組みです。 Googlebot はこれらの URL を別のページのようにクロールしませんが、レンダリング中に URL を取得しようとします。robots.txt がそれをブロックすると、コンテンツを取得できず、使用できなくなります。これらの URL が取得されない場合でも、ページが読み込まれることを確認する必要がありますが、このような場合には、通常は問題になりません。
- あなたのサイトはこれをロードするために特定の JS ファイルを使用しており、あなたはそれを自分でブロックします。たとえば、これを行うために「load-verification-popup.js」ファイルを使用するとします。サイト上の robots.txt を使用してそのページをブロックすると、スクリプトはレンダリング中に読み込まれなくなります (robots.txt によってブロックされます)。私の経験では、これはあまり一般的ではありませんが、オプションです。 verificationpopup-com の robots.txt が影響を与えることができない場合、レンダリング中に表示/使用されないようにする場合は、これを行う必要があります。
他にも方法はあるかもしれませんが、Google 検索の担当者が推奨するアプローチは次のとおりです。
