robots.txtとは？役割・書き方と公開後の確認方法

robots.txtは、クローラーがサイトのどのURLへアクセスできるかを伝えるファイルです。検索結果からの除外や機密情報の保護とは役割が異なります。基本的な記述と確認手順を、架空のルールを使って整理しましょう。設定前にも再確認しましょう。

設定を変える前に、現在公開されているファイルと担当者を確認してください。広い範囲を一度に変更すると、意図しないページまで取得を妨げるおそれがあります。

この記事には、運営会社CommunityCreateのサービス案内が含まれます。

• クロール制御と検索結果からの除外を区別する
• 対象ホストとパスを確認してルールを記述する
• 公開後に実際のファイルと影響を点検

公開日：2026年11月3日 / 最終更新日：2026年11月3日

robots.txtはクローラーへのアクセス案内

robots.txtはクローラーへのアクセス指示を記したファイルです。検索結果からの除外や、第三者が情報を閲覧できないようにする認証とは目的が異なります。

クロールと登録は同じではない

Googleのrobots.txtの概要によると、このファイルはクローラーがアクセスできるURLを伝えるもので、検索結果からページを除外する仕組みではありません。クロールを拒否したURLでも、別ページから発見されて登録されることがあります。

「アクセスを拒否したから検索結果にも出ない」とは限らない点に注意。クロールと登録は別々に確認しましょう。

noindexや認証と区別する

Googleのrobots metaタグの仕様では、ページのnoindex指定をGoogleが認識するには、そのページをクロールできる必要があります。robots.txtで取得を拒否したまま、ページ内の指定を読めると考えないでください。

機密情報を保護するにはアクセス認証などを検討します。robots.txtにパスを並べること自体は閲覧を防ぐ認証にはなりません。

対象クローラーとパスを確かめて記述する

どのクローラーに、どの範囲のルールを適用するかを明確にします。ファイルの置き場所、文字形式、パスの大小文字まで確認しましょう。

ファイルの場所と形式

Googleの作成案内によると、ファイル名はrobots.txtで、対象ホストの最上位ディレクトリに配置してください。UTF-8のテキストとして作成し、HTML形式では保存しないよう案内しています。

2026年11月時点で、Googleのrobots.txtの解釈はルールの適用範囲を、そのファイルが置かれたホスト・プロトコル・ポートと説明しています。確認する対象を取り違えないことが大切です。

ルールの競合と大小文字

同仕様によると、GoogleはUser-agent、Allow、Disallow、Sitemapなどをサポートしますが、crawl-delayはサポートしません。AllowとDisallowが競合する場合、URLに一致する最も具体的なルールを用い、同じ具体性では制限が弱いルールを適用します。

パスの大文字と小文字は区別されます。対象の文字列を実際のURLと照らして確認しましょう。

架空の3パスで考える

当サイトは架空の1グループについて、`Disallow: /private/` と `Allow: /private/public/` を単純な前方一致で比較しました。次の結果は限定された例です。

架空のパス	比較結果
/private/note	拒否
/private/public/guide	許可
/news/	許可

筆者の検証（2026年11月）｜架空のパスとルールを比較（Python／架空例）
一つのグループとASCIIの前方一致に限った比較で、3パスを拒否・許可・許可に分類しました。一般的なrobotsパーサーやGooglebotの実測ではありません。

実際の設定ではグループ、パターン、適用範囲も確認が必要です。この例の結果だけで別のルールを判定しないようにしましょう。

公開前後にファイルと対象URLを点検する

変更前のファイルを保存し、対象のホストやルールを確認します。公開後も実際に取得できるファイルと、意図した対象への影響を見直してください。

変更前に適用範囲を整理する

対象ホスト、プロトコル、ポート、User-agentごとのグループを記録します。次に各Allow・Disallowの対象パスを並べ、意図したページを誤って含んでいないか確認しましょう。

空のDisallowやワイルドカードを使う場合も、実際のルールの意味を担当者と確認します。筆者は変更前後の差分を残してから公開したいところ。

公開ファイルを読み戻す

Googleのrobots.txtの更新案内は、更新したファイルをサイトへアップロードする手順を説明しています。公開後は対象ホストのルートにあるファイルを取得し、内容とHTTP状態を確認してください。

Search Consoleのrobots.txtレポートなどを使う場合も、確認対象と日時を記録します。手元の予定内容と公開ファイルが同じかが第一歩。Search Consoleの準備は登録方法を参照できます。

変更後の影響を継続して確認する

重要なページや必要なリソースへの取得を意図せず妨げていないか、URLごとに調べます。変化が見つかったら、対象パスと変更日時、公開した内容を照合してください。

内部の移動先は内部リンクの点検方法、施策の優先順位はSEO対策の全体像も参考になります。設定の影響範囲に迷った場合は、CommunityCreateへご相談ください。

持ち帰りポイント
点検メモ：ホスト／プロトコル／ポート／公開ファイル／対象クローラー／AllowとDisallow／対象パス／変更日と確認結果。

正直なところ
架空の比較は限定した前方一致の例です。実サイトの設定、Googlebotの取得、検索登録を検証したものではありません。

よくある質問

robots.txtの設定で迷いやすい点をまとめます。

robots.txtとは何ですか？

クローラーがアクセスできるURLを伝えるファイルです。

拒否すれば検索結果から必ず消えますか？

保証されません。クロールと登録を分けて確認します。

機密ページの保護に使えますか？

認証の代わりにはなりません。アクセス制御を別に検討してください。

どこに置きますか？

Google向けには対象ホストの最上位ディレクトリにrobots.txtとして置きます。

パスの大文字と小文字は同じですか？

Googleのパス照合では区別されます。

crawl-delayをGoogleは使いますか？

Googleの仕様ではサポートされていません。

AllowとDisallowが競合したら？

Googleは最も具体的な一致を用い、同じ具体性なら制限の弱いルールを適用します。

変更したら何を確認しますか？

公開ファイルと対象パスを読み戻し、意図した範囲か確認しましょう。

次の一歩
現在のrobots.txtを開き、対象ホストと適用先のパスを一覧にしてみてください。

参考URL一覧

• robots.txtの概要：https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=en
• robots metaタグの仕様：https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=en
• 作成案内：https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=en
• robots.txtの解釈：https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt?hl=en
• robots.txtの更新案内：https://developers.google.com/search/docs/crawling-indexing/robots/submit-updated-robots-txt?hl=en