robots.txtとは？巡回を制御する仕組み

集客・SEO2026年10月30日読了時間：約4分

ホームページの一番上の場所に置く「robots.txt（ロボッツテキスト）」というファイル。
検索エンジンに、どのページを見に来てよいかを伝えるためのものです。

この記事では、robots.txt でできることと、書き方、気をつけたいことを解説します。

1.巡回のお願いを書くファイル

robots.txt は、検索エンジンのプログラム（クローラー）に、「このページは見に来ないでください」と伝えるためのファイルです。ホームページのいちばん上の場所（例：https://example.com/robots.txt）に置きます。

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml

検索エンジンのプログラムは、ホームページのページを見に来て、内容を読み取ります。管理画面や、検索結果のページなど、見に来てもらう必要がないページを伝えておくと、大切なページに集中して見に来てもらいやすくなります。

一方で、書き方を間違えると、ホームページ全体を見に来てもらえなくなることがあります。たとえば「Disallow: /」と書くと、すべてのページへの巡回を止めることになります。

robots.txt は便利ですが、1行の間違いで、ホームページ全体が検索に出にくくなることがあります。

	robots.txt	noindex
役割	ページを見に来ないよう、お願いする	ページを検索結果に出さないよう、伝える
書く場所	ホームページのいちばん上の robots.txt	それぞれのページの中
検索に出ないか	出ることがある（ほかからリンクされていると、URLだけ出ることがある）	出ない

検索結果に出したくないページは、robots.txt ではなく、noindex を使います。robots.txt で巡回を止めると、ページの中の noindex も読まれなくなるため、両方を同時に使わないよう注意しましょう。

WordPressは、robots.txt のファイルがない場合、自動で用意した内容を表示します。SEOのプラグインで、内容を編集できることもあります。

ブラウザで「自分のドメイン/robots.txt」を開くと、中身を確かめられます。Search Console でも、robots.txt の状態を確認できます。

robots.txt は、必ず必要ですか？

なくても、ホームページはふつうに検索エンジンに見に来てもらえます。止めたいページがある場合や、サイトマップの場所を伝えたい場合に用意します。

robots.txt で止めたページが、検索に出ています。

robots.txt は巡回を止めるお願いで、検索に出さない設定ではありません。検索に出したくない場合は、巡回の止めを外したうえで、noindex を設定しましょう。

すべての検索エンジンが、robots.txt を守りますか？

主な検索エンジンは守りますが、守らないプログラムもあります。見られたくない情報は、パスワードなどで守る必要があります。

書き換えたら、すぐに反映されますか？

検索エンジンが robots.txt を読み直すまで、少し時間がかかることがあります。

robots.txt は、検索エンジンのプログラムに、見に来ないでほしいページを伝えるファイルです。

まずは、ブラウザで自分の robots.txt を開いて、中身を確かめてみましょう。検索に出ないときの確かめ方は、Google検索にホームページが表示されない原因で解説しています。

robots.txt の書き方や、検索に出ない原因で迷っている場合は、浅草Web屋にご相談ください。