robots.txt（ロボッツテキスト）とは？意味や設定方法について解説
robots.txtは、クロールを制御するために作成するファイルのことです。適切に設定することでクローラビリティが向上し、SEOにも良い影響をもたらします。
サイトを作成するにあたって絶対に必要なものではありませんが、必要ないページまでクロールさせている可能性があるため、検索上位を目指すなら作成しておきたいファイルです。
当記事では、robots.txtの設定方法や注意点について解説しているので、robots.txtをまだ作成していない方はぜひ参考にしてください。
【この記事はこんな方におすすめです】
- robots.txtが何かを知りたい方
- robots.txtの設置方法が分からない方
- SEO対策に強いWEBサイトを作りたい方
robots.txtとは
robots.txt（ロボッツテキスト）とは、検索エンジンのクローラーに対して「アクセスしてよいページ」と「クロールが不要なページ」を伝えるために作成するファイルのことです。
クローラーとは、Google等の検索エンジンがそれぞれ所有している巡回プログラムのことで、クローラーが世界中のWEBサイトを巡回することによって新しいページや更新された情報が検出されます。
クローラーが巡回することをクロールといい、robots.txtでクロール不要なページを伝えると、クローラーは指定されたページにはアクセスしなくなります。
クローラーとは？仕組みや重要性・巡回してもらうための対策を解説robots.txtによるSEOの効果
クローラーは、世界中のWEBサイトを巡回しているためクロールされるまでに時間を要します。robots.txtによって優先順位の低いページのクロールを制御すると、より重要なページが優先的にクロールされるようになります。これをクロールの最適化といい、重要なコンテンツのクロール頻度が相対的に高まるため、不要なコンテンツにはrobots.txtを設定しましょう。
noindexタグとの違い
- robots.txt：クロール（ページの読み込み）を制御するためのもの
- noindexタグ：インデックス（検索結果への表示）を拒否するためのもの
robots.txtとよく混同されるものとして、noindexタグがあります。
noindexタグは、インデックス登録を拒否するためのものであり、noindexタグを設置したページは、検索結果に表示されなくなります。SEOの評価を受けたくないページにはnoindexタグを設置しましょう。
一方で、robots.txtはクロールを制御するためのものであり、設置したからと言って必ずしも検索結果に表示されないわけではありません。
例えば、同じページにrobots.txtとnoindexタグを設置してしまった場合、robots.txtによってクロールが制御されるため、noindexタグが設置されていることをクローラーが認知できなくなる可能性があるため、併用はせずに上手く使い分けましょう。
robots.txtの設定方法
robots.txtを正しく機能させるためには、下記の手順で設定します。
- 「robots.txt」という名前のテキストファイルを作成する
- 作成したファイルに指定したい内容を記載する
- ファイルをサイトにアップロードする
ファイルを作成する際は、メモ帳やテキストエディット等のテキストエディタを使います。ワープロソフトは独自の形式でファイルが保存されるため、robots.txtのファイル作成には向いてません。ファイル名は必ず「robots.txt」にする必要があります。
テキストエディタで作成したファイルに、指定したい内容を記載したら、サイトにアップロードします。必ずルートドメイン（トップページ）に設置するルールになっています。
（例）弊社のrobots.txt：https://verse-type.co.jp/robots.txt
robots.txtは、「User-Agent」「Disallow」「Allow」「Sitemap」の4つの要素で構成されています。
それぞれが何を意味しているのか、どのように記載するのか解説します！
User-Agent
User-agentでは、制御したいクローラーの種類を指定します。
「*」と記載すれば全てのクローラーを制御できます。Googleのクローラーのみを制御したい場合は「Googlebot」と記載しますが、基本的には全てのクローラーを指定するのが一般的です。User-Agentのみ記載は必須です。
（例）User-agent: *
Disallow
Disallowでは、クローラーのアクセスを制限したいページやファイルを指定します。
例えば、「/wp-admin/」と記載した場合、ディレクトリ「/wp-admin/」配下の全てのページにクロール制限がかかります。
（例）Disallow: /wp/wp-admin/
Allow
Allowでは、クロールを許可するページやファイルを指定します。
Disallowよりも強いパワーを持っているため、Disallowで指定したディレクトリの中にクロールしたいページがある場合に記載します。
（例）Allow: /wp/wp-admin/admin-ajax.php
Sitemap
Sitemapは、サイトマップの設置箇所をクローラーに伝えるためのものです。
サイトマップの存在を伝えることで、効率的にクロールしてもらえるようになります。
（例）Sitemap: https://verse-type.co.jp/sitemap.xml
XMLサイトマップとは？SEO効果やタグの種類・作成方法を解説！robots.txt設定時の注意点
robots.txtは誤った記述をしてしまうと逆効果になる可能性があるので、注意が必要です。ここでは、robots.txtを設定する時の注意点を4つご紹介します。
検索結果には表示されることがある
robots.txtは、クロールを制御するものであり、インデックスを拒否するものではありません。そのため、robots.txtでクロールを制御しても検索結果に表示される場合があります。
例えば、既にインデックス登録されている場合はそのまま検索結果に残り続けますし、他のページからリンクを辿ってクロールされる可能性もあります。
全ページをクロール拒否しない
robots.txtのDisallowに「/」と入力すると、サイト内の全てのページがクロール制御されてしまうのでご注意ください。トップページを含め、サイト内全てのページが正しく読み込まれなくなります。
反映に時間がかかる
robots.txtは、設置や変更をしてから反映されるまで、数日から数週間かかる場合があります。Googleサーチソールを使えば、robots.txtが更新されたことを手動でGoogleに伝えることができます。
ユーザーはアクセスできる
robots.txtは、クローラーに対してサイトの巡回を拒否するためのものであって、ユーザーのアクセスを拒否するものではありません。
非公開コンテンツがある場合は、noindexを設定の上、別の方法でページにセキュリティ対策を行う必要があります。
robots.txtが正しく設定できているかを確認する方法
- Googleサーチコンソールにアクセス
- robots.txtテスターをクリック
- 作成したrobots.txtの記述内容を貼り付け
- テストしたいURLを入力し「テスト」をクリック
- Disallowを設定した場合は「ブロック済み」、Allowを設定した場合は「許可」が表示されていればOK
robots.txtを作成した際は、念のため正しく設定できているのか確認してからアップロードしましょう。
問題なく設定できていれば、「送信」をクリックして「Googleに更新をリクエスト」を選択すると、robots.txtが更新されたことをGoogleに知らせることができます。
まとめ
robots.txtとは、クローラーに対してクロールが不要なページを伝えるために設置するファイルのことです。robots.txtを設置することで、クローラビリティが向上し、SEOの評価も受けやすくなります。
ただし、誤った記述をしてしまうと逆効果になる可能性があるので、アップロードする前に必ず正しく記述できているかを確認しましょう。
弊社バースタイプでは、SEO評価を正しく受けられているかどうかを診断したSEO診断レポートを無料で作成しています。競合サイトと比較した改善案もお伝えしているので、検索上位を狙っている方はお気軽にお問い合わせください。
