今回は クローラ制御に関する記事です。クローラの制御はSEOにとっても基本中の基本といえるテクニックになります。本記事では最もシンプルな4種類の属性（index, noindex, follow, nofollow）について紹介します。
index / noindex
概要
クローラにページをインデックスさせる（させない）ための属性です。インデックスさせたいほうにindex 、させたくないほうにnoindex を付与します。デフォルトは 多くの場合は、index です。ページを検索結果に表示させたいわけですから、index をつけるほうが基本になります。ただし、ページによってはクローラにインデックスをさせないほうが良い場合があります。例えば本サイトではプライバシーポリシーや連絡先は noindex を指定しています。これらは検索結果に表示されても仕方ないですよね。
noindex を指定するべきはシンプルに検索結果に表示させなくてもよいページという認識でよいと思います。具体的には、
- 検索結果に表示させる必要がないページ（連絡先、プライバシーポリシーなど）
- 検索結果に表示させたくないページ（認証が必要なページ、非公開ページなど）
が該当します。
noindex を付与したページは、クロールされないため、Google Search Console で除外されたかを確認することができます。
指定方法
ページ単位でメタタグを head の間に挿入することで指定することができます。メタタグとは何？という方はこちらの記事を参考にしてください。インデックスをさせたい場合は以下のように記載します。
<meta name="robots" content="index">逆にさせたくない場合はこちら。
<meta name="robots" content="noindex">このタグをクローラが読み取ってそのページをインデックスするかどうかを判断します。
もしくは以下のようにHTTPレスポンスヘッダに付与することでも可能です。こちらはレスポンスヘッダのため、より細やかな制御が可能になっています。
X-Robots-Tag: noindexfollow / nofollow
概要
クローラにページの a タグのリンクを検査させる（させない）ための属性です。検査させたいほうに follow、させたくないほうに nofollow を付与します。クローラは賢いのでページ内リンクをたどっていくことでクロールを進めていきます。このときに「リンク先にはクロールしないように！」と命令するための属性になります。
indexと比較するとどのように付与するべきか迷うところですが、クロールされると不都合なページには nofllow を付与します。
- ユーザが投稿する可能性のあるページ（コメントなど）
- ユーザが投降した内容にリンクがある場合に不都合が生じる
- 有料サイトへのリンク
- 有料サイトにページの評価を渡すことをクローラが禁じているため
- 信頼できないサイトへのリンク
- 信頼できないサイトへサイトのドメインパワーを渡さないため
指定方法
こちらもメタタグを利用する方法があります。以下のコードを head タグの間に挿入しましょう。
<meta name="robots" content="nofollow">しかし、follow/nofollowは、aタグのリンクに関する制御のため、ページ単位で制御することが難しいことが多いです。そのときは a タグに rel="nofollow" とつけることでそのタグを検査させないという命令をさせることができます。
<a href="example.com" rel="nofollow"></a>このように指定すれば、クローラは example.com へのリンクをたどらなくなります。
WordPressでのクロール制御
WordPressにおいての基本的なクロール制御方法ですが、意外とデフォルトでは難しい状態になっています。サイトすべてをインデックスさせないようにするためには設定 > 表示設定より、検索エンジンがサイトをインデックスしないようにする にチェックを入れてください。非公開ページであればチェックしなければクロールされてインデックス登録から検索結果に表示されてしまうため注意です。
現実的には記事ごとに設定をしたい場合がほとんどだと思われます。その場合は All in One SEOというプラグインを導入しておきましょう。このプラグインはクローラ制御のようなSEO関連のツールをオールインワンにまとめたプラグインです。
インストールすれば、記事編集画面に以下のように紹介したクローラ制御ができるようになります。この設定はメタタグ単位、つまりページ単位での設定なので注意してください。
なお筆者は AFFINGER6 というWordPressテーマを利用しているため、記事ごとに index の変更という項目が用意されています。記事作成画面の右ペインにあるので確認してみてください。WordPressのテーマによっては類似の機能が搭載されているかもしれません。
「そこまで大げさなプラグインは必要ない」という方は、mypace Custom Meta Robots というプラグインが最もシンプルで使いやすいです。日本人の方が作成してくださっているため、日本語で利用ができる点もメリットです。
本プラグインは最終更新が2年前のため、大変オススメだったのですが推奨できなくなりました。
こちらもインストールすると同じように記事の編集画面に指定ができるようになります。
さいごに
本記事では基本的なクローラの制御方法について紹介しました。覚えておけば汎用性の高い知識なので習得しておきましょう。またクローラ制御の命令はこの4種類以外にも存在します。普段使いはしないかもしれませんが、興味のある方は検索をしてみるとよいでしょう。