外資系SEOスペシャリスト
Takuma Oka (岡 拓馬)
こんにちは、岡 拓馬（おか たくま）です。
このブログでは、海外ノマド×SEO×ストック収入をテーマに、自分の経験や学びを発信しています。
高校卒業後は料理人としてスタートし、その後、航空自衛隊での勤務を経て、2016年からWebライター・SEOコンサルタントとして独立。現在は、海外の外資系企業と契約しながら、フルリモートで働いています。拠点はアジア各国を転々としており、最近はベトナムやタイ、マレーシア、フィリピンなどでノマド生活をしています。
多言語サイトのSEOでは、検索エンジンに「どのページをクロールさせるか」を正しく伝えることが欠かせません。そのカギを握るのが robots.txt です。
誤った設定をしてしまうと、せっかく翻訳・ローカライズしたページがインデックスされず、集客機会を逃すことも。逆に、最適化されたrobots.txtは、クロールの無駄を省き、重要なページの評価を高めます。
この記事では、最新のSEO動向に基づき、多言語サイトにおけるrobots.txtの正しい設定方法と注意点を、初心者にもわかりやすく解説します。
実践例やおすすめルールも紹介するので、今日から正しいクロール制御が可能になります。
- robots.txtはSEOの基礎：クローラーにアクセス許可・禁止を伝える重要なファイル
- 多言語サイトは設定が複雑：言語別ディレクトリ・サブドメインごとにルールを分ける必要あり
- よくある失敗例：誤って主要ページをブロック、または不要ページを許可してしまう
- 最新の推奨設定：言語ごとのサイトマップ指定、クロール頻度の最適化、ワイルドカード活用
- 設定後のテスト必須：Google Search Consoleやテストツールで挙動を確認し、問題があれば即修正
robots.txtとは？多言語サイトSEOで必ず押さえておくべき基礎知識
robots.txtは、検索エンジンのクローラーに「どのページをクロールしてよいか・してはいけないか」を指示するためのファイルです。
特に多言語サイトでは、言語ごとのURL構造やサブディレクトリ設定によってクロールルールが複雑になりやすく、誤った設定はインデックス漏れやクロールバジェットの浪費につながります。
ここでは、robots.txtの基本と、多言語サイトにおける活用ポイントをわかりやすく解説します。
robots.txtの書き方と構文ルール｜SEOを意識した正しい記述方法
- User-agent：ルールを適用するクローラー名（例：
Googlebot、Bingbot、*は全クローラー対象） - Disallow：アクセス禁止にするパス（例：
/private/） - Allow：アクセス許可するパス（例：
/public/） - Sitemap：サイトマップのURLを指定（例：
Sitemap: https://example.com/sitemap.xml）
例：Googlebotだけを特定ディレクトリからブロックする場合
User-agent: Googlebot
Disallow: /private/多言語サイト特有のrobots.txt設定の落とし穴と対策
多言語サイトは、1言語1ディレクトリやサブドメイン形式を採用するケースが多く、それぞれに適切なクロール制御が必要です。
設定ミスが起きると、翻訳ページや現地向けコンテンツがインデックスされず、SEO効果が半減します。
/en/ディレクトリ全体を誤ってDisallowしてしまう- 言語ごとのサイトマップURLをrobots.txtに記載していない
- サブドメイン（例：
fr.example.com）のrobots.txtを忘れる - hreflangタグは設定したがクロール制御が不適切で効果が出ない
多言語サイト向けの実践的robots.txt設定例【コピペOK】
例：ディレクトリ形式の多言語サイト
# 英語ページ
User-agent: *
Allow: /en/
Sitemap: https://example.com/en/sitemap.xml
# 日本語ページ
User-agent: *
Allow: /ja/
Sitemap: https://example.com/ja/sitemap.xml例：サブドメイン形式の多言語サイト
# 英語サイト用robots.txt（en.example.com/robots.txt）
User-agent: *
Allow: /
Sitemap: https://en.example.com/sitemap.xml
# フランス語サイト用robots.txt（fr.example.com/robots.txt）
User-agent: *
Allow: /
Sitemap: https://fr.example.com/sitemap.xmlrobots.txtを公開前にテストする方法とGoogleへの送信手順
robots.txtは公開後すぐにクローラーに認識されますが、誤設定があると一部のページが意図せずインデックスされなくなるリスクがあります。
公開前に必ずテストし、問題がないか確認しましょう。
- Search Consoleにログイン
- 「設定」＞「robots.txtテスター」を開く
- テストしたいURLを入力
- クロール可否を確認
- 必要に応じて修正し再テスト
- サーバーのルートディレクトリに
robots.txtをアップロード - ブラウザで
https://example.com/robots.txtにアクセスして内容を確認 - Googleに即時反映させたい場合はSearch Consoleから再クロールをリクエスト
SEO効果を最大化するrobots.txt設定の5つのポイント
誤ってDisallowしないように、設定後も定期的にチェック。
各言語版のURLを明示的にGoogleに伝える。
/tmp/ や /test/ などSEO価値のないページをブロック。
httpとhttps、wwwとnon-wwwで別々に管理。
不具合が出る前に修正するのが鉄則。
robots.txtで多言語サイトSEOを守るために
robots.txtは、単なるクローラー制御ファイルにとどまらず、多言語サイトのSEOパフォーマンスを支える重要な設定ファイルです。
特に言語ごとのディレクトリやサブドメインを運用している場合、適切なクロール許可とサイトマップの指定が欠かせません。
- robots.txtはクローラーへの「指示書」であり、誤設定はインデックス漏れを招く
- 多言語サイトでは、言語ごとのルールとサイトマップを明示することが重要
- 公開前・変更時は必ずテストして安全性を確認
- クロールバジェットの最適化にも活用できる
正しく設定すれば、Googleをはじめとする検索エンジンにサイト構造を効率よく伝えられ、多言語SEOの成果を長期的に維持できます。
| 📘 『AI時代のテクニカルSEOの教科書』無料公開中！ |
|---|
| AI要約・ゼロクリック検索・構造化データ・インデックス管理… 「検索流入が減った」と感じている方にこそ読んでほしい、最新SEO戦略を体系的にまとめた1冊です。 ✔️ AI時代のSEOの本質とは？ ✔️ 今すぐできるテクニカル改善とは？ ✔️ Googleに拾われるサイト構造とは？ 👉 今すぐダウンロードして、SEOの“次の一手”を見つけてください。 |
