インデックス登録の対象範囲の問題が新たに検出されましたの対処法｜ワードプレステーマのファイルへのサーバーエラー5xxに対するrobots.txtの書き方

こんにちは、アフィリエイターのコウ(@koh_bliss)です。

少し前からグーグルサーチコンソールの新しい形が公開されていて、
その流れでサーチコンソールからいくつかの注意が来るようになりました。

僕のところにきたのは次の２つです。

①インデックスカバレッジの問題が新たに検出されました。

②インデックス登録の対象範囲の問題が新たに検出されました。

この２件が来ました。

インデックスカバレッジで検出される問題は複数ある

僕は複数サイトの運営をしているので、
両方来たサイトや一つだけのサイトなどもありますが、
①のインデックスカバレッジの問題が新たに検出されましたは前記事に書いたので、

ここでは、「②のインデックス登録の対象範囲の問題が新たに検出されましたについて」書いておきたいと思います。

頼りになるプログラマーの友達にたくさん助けてもらいながらですが、
解決できたのでここに備忘録として詳しく残しておきます。

同じような問題が起こった方の参考になれば幸いです。

まずインデックスカバレッジとは何か？

前記事にも書いていますが、
インデックスカバレッジ自体を簡単にご説明します。

これはインデックスカバレッジレポートです。

インデックスカバレッジという名前が変わっていますが、
基本的にはサーチコンソールの新しいレポートの名前と思っていただいて大丈夫です。

エラーや有効など書いてありますが、それぞれの意味は次の物です。

インデックスカバレッジレポートの意味

・エラー：このページはインデックス登録されていません。かつ、エラーが検出されたページです。

・有効(警告あり)：修正されるべき問題のあるページ（インデックス登録されているページや、されていたページが含まれます。）

・有効：インデックス登録されています。

・除外：何らかの理由でインデックス登録されていないページです。インデックス登録処理の途中段階であったり、意図的にインデックスされていないページが含まれます。基本的には何もする必要がありません。

ではここから、「インデックス登録の対象範囲の問題の対処法」について書いていきます。

僕のサイトの「新たに検出されたインデックス登録の対象範囲の問題」＝サーバーエラー5xx

まずサーチコンソールを見たところ、
ある日次の画像のようなエラーが通知されていました。

メールにも送られていましたが、
この詳細を表示を押すと、

このように2件問題があると出てきました。

①送信されたURLにnoindexタグが追加されています。

②サーバーエラー（5xx）

①については前記事に書いたのでここでは割愛します。

そして上の画像下部の「サーチコンソールを使用してインデックス登録の対象範囲を修正」を押すと、問題の詳細が出てきます。

検出されたサーバーエラー5xx＝ワードプレステーマのファイル

この画像のように、
僕のサイトに来たサーバーエラー5xxの問題はワードプレステーマのファイルでした。

つまり、
サーバー上にあるこのワードプレステーマのファイルをグーグルがクロールしてしまい、
それにエラーが出ているということです。

ですので解決方法としては、
robots.txtというファイルをサーバー上にUPし、
このワードプレステーマのファイルをグーグルがクロールしないようにします。

robots.txtで問題ファイルのクロールをブロックし、インデックス登録させない

「robots.txt」で問題ファイル（僕のサイトではワードプレステーマのファイル）のクロールをブロックします。

robots.txtというのは、
指定したファイルをグーグルにクロールさせないようにできるファイルのことです。

まずはサイトが入っているサーバーのFTPを開きます。

ロリポップであればこういうページです。
そして各サイトのフォルダがあるので、該当サイトのフォルダを押します。

robots.txtファイルを作成してアップロード(＝エラーの検出された問題ファイルをインデックス登録させない)

robots.txtは各サイトの最上位のディレクトリに置くので、
ワードプレスなら下の画像のようにwp-adminやwp-contentなどがあるディレクトリでrobotsを作り、アップします。

下の画像の上部にあるゴミ箱などの絵の左から４つ目がファイル作成なのでそれを押し、
この画像のように名前をrobots.txtとします。

記述は画像の通り、このようにしました。

★エラーの検出されたワードプレステーマのファイルをクロールさせない記述

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://そのサイトマップのアドレス（例：abcde/sitemap.xmlなどがよくあります。）

↑のrobots.txtの記述について

User-agent：クローラー名（*は、グーグルやbingなど全クローラーを指す。）
Disallow：ブロックしたいファイル
Allow：ブロックしたいファイルの中でこの部分はクロールして良いというファイル
Sitemap：ここにサイトマップを置いておくと、クローラーがサイトマップを見つけてくれやすくなるので良い。

robots.txtをアップロード

タイトルを入力し、記述もできたら、一番下の「保存」を必ず押します。

そしてアップロードボタンを押せばアップロードが完了します。

※保存ボタンを押さずにアップロードしても、画面は変わりますがアップされません。

ワードプレスにはrobots.txtが元々ある？

余談ですが、ワードプレスを使っていると、
サイトのフォルダ内にrobots.txtが作られていない段階でも、なぜかrobotsが存在しています。

（サイトのアドレス/robots.txtといれると見れます。）

ですがそのrobotsに元々かかれている記述も踏まえて書いてアップした所、問題は何もなく大丈夫でした。

robots.txtが検出されたエラーページに機能しているか確認

ロボッツが機能しているかどうかは、新サーチコンソールさんで確認できます。

新サーチコンソールで、
「エラーが出ているファイルはこれです」と表示されていたと思います。

そのファイルを押すと、
robots.txtのテストというものが出てきます。

これをすることでちゃんとワードプレスファイルがクロールされないかを確認しました。
また、アドレス/robots.txtと検索窓にいれることでも、robotsが反映されているかの確認をしました。

テスターでのrobots.txtの確認

この画像のように自サイトのrobots.txtを書き、
ブロック済となっているなっているところ（元はテストとなっている）を押すと、
ブロックされている場合はブロック済みとなります。

一応ですが、送信というところで、グーグルにrobots.txtの更新を通知したほうが確実です。

robots.txtが無い場合

人によってはrobotsテスターを起動した瞬間に、無いと言われることもあります。

僕は実際に1サイトそうなったので、こうしてみました。

＞robots.txtがあるのに無いと言われるエラー｜見つかりません（404）に対して

robots.txtがOKなら、グーグルに審査を出し、待つのみ｜インデックスカバレッジ問題

です。

検出されたインデックス登録対象範囲の問題とサーバーエラー5xxのまとめ

今回の場合のインデックス登録対象範囲の問題に関するまとめは次のとおりです。

★インデックス登録対象範囲の問題

⇒サーバーエラー5xx＝ワードプレステーマ

⇒robots.txtをサーバーにアップしてワードプレステーマをインデックスから除外する

です。

ご参考になれば幸いです。

ではでは〜(｡･ω･)ﾉﾞ

＞ASPまずはここ！初心者アフィリエイター・ブロガーにおすすめのASP