外資系SEOスペシャリスト
Takuma Oka (岡 拓馬)
こんにちは、岡 拓馬（おか たくま）です。
このブログでは、海外ノマド×SEO×ストック収入をテーマに、自分の経験や学びを発信しています。
高校卒業後は料理人としてスタートし、その後、航空自衛隊での勤務を経て、2016年からWebライター・SEOコンサルタントとして独立。現在は、海外の外資系企業と契約しながら、フルリモートで働いています。拠点はアジア各国を転々としており、最近はベトナムやタイ、マレーシア、フィリピンなどでノマド生活をしています。
AI検索が主流化しつつある今、私たちSEO担当者は「コンテンツの質」や「被リンク」だけでなく、“どのページがクロールされているか”という視点にも目を向ける必要があります。
なぜなら、クロールバジェット（検索エンジンがサイトを巡回するために割り当てるリソース）は、単なる技術的な数字ではなく、売上や成果に直結する“見えない収益指標”だからです。
特に最近では、GooglebotだけでなくGPTBotやClaudeBotといったAIクローラーが急増し、
「クロールはされているのに検索にもAIにも反映されない」ページが増えています。
結果として、本来ユーザーに届くべき高価値コンテンツが“見えない場所”で眠っているケースも少なくありません。
この記事では、Search Engine Landの最新レポート「Your crawl budget is costing you revenue in the AI search era」をもとに、
AI時代におけるクロール戦略の本質を解説しながら、
中〜小規模メディア運営者が実践できる「収益を守るクロール設計」についても、僕自身の経験を交えてまとめます。
クロールバジェットの誤解──“量”ではなく“価値”を配分する
「クロール数が多ければSEO的に良い」と思われがちですが、実際はそうではありません。
AI検索時代では、どのページにクロールが当たっているかが成果を左右します。
クロールバジェットとは、Googleなどの検索エンジンが「このサイトを1日（または一定期間）でどこまで巡回するか」を決める“予算”のようなもの。
このリソースの使い方を間違えると、本来読まれるべき重要なページが巡回されず、結果的に収益を逃すことになります。
クロール“量”よりも“配分”が大事
次の表は、クロール配分の考え方をシンプルにまとめたものです。
| 項目 | よくある誤解 | 正しい考え方 |
|---|---|---|
| クロール数 | 多いほど良い | 価値ページに当たっているかが重要 |
| インデックス | すべて登録されればOK | 本当に読まれる・稼ぐページだけで十分 |
| 更新頻度 | 毎日更新が有利 | 更新より内部導線の最適化が重要 |
今すぐできる改善ステップ
「クロール済みだが未インデックス」のURLをチェックし、薄い内容・タグページ・重複記事はnoindex設定する。
不要なURL（カテゴリ重複・旧ページなど）は除外し、“見せたいURLだけ”を明示する。
新しい記事を公開したら、必ず関連カテゴリーや既存記事からリンクを張る。これでクローラが効率的にサイト内を回れるようになる。
大事な記事はトップページやカテゴリページから2クリック以内で届く構造にしておく。
僕自身、複数のメディアを運営して感じるのは、中小規模サイトでは「クロールバジェットの量」よりも、クロールを“導く設計”をしているかどうかのほうが圧倒的に重要だということです。
- タグページや古いアーカイブを整理する
- 内部リンクを体系的に構築する
- サイトマップを常にクリーンに保つ
この3つを意識するだけで、Googlebotの巡回効率が明らかに改善されます。そしてその結果、価値の高い記事がより早く・正確に評価されるようになります。
PAVEフレームワーク──「どのページをクロールさせるべきか」を判断する4つの基準
AI検索時代では、「すべてのページをクロールさせる」ことが最適ではありません。
むしろ、クロールされるべきページを選び、そこにリソースを集中させることが重要です。
その判断に役立つのが、Search Engine Landでも紹介された「PAVEフレームワーク」です。
これは、ページの重要度を
- Potential（潜在力）
- Authority（権威）
- Value（価値）
- Evolution（更新性）
の4つで評価する考え方です。
PAVEの基本構造
| 要素 | 意味 | 具体的なチェックポイント |
|---|---|---|
| P：Potential（潜在力） | そのページに順位やトラフィックの見込みがあるか | 検索ボリューム・CV率・クリック数の履歴を確認 |
| A：Authority（権威） | サイトやページに信頼性があるか | E-E-A-T（専門性・経験・権威性・信頼性）の要素が含まれているか |
| V：Value（価値） | 1クロールあたりの情報価値が高いか | 重複を避け、具体的・独自の情報を持っているか |
| E：Evolution（更新性） | 定期的に内容が更新されているか | リライト・情報追加・最新データの反映などがあるか |
PAVEを使ったページ分類の一例
| ページタイプ | P | A | V | E | 対応方針 |
|---|---|---|---|---|---|
| 商品レビュー・旅行ガイドなど主力記事 | 高 | 中〜高 | 高 | 中 | クロール対象（維持・更新） |
| ニュース・時事系記事 | 中 | 中 | 中 | 高 | 一時的に優先（後にアーカイブ） |
| タグ・一覧ページ | 低 | 低 | 低 | 低 | noindex推奨・内部リンクのみに使用 |
| 重複コンテンツ（似たテーマ） | 中 | 低 | 低 | 低 | 統合・リダイレクトで整理 |
実践ステップ
クリック・表示・CTRが低いのにURL数が多いカテゴリは“予算の無駄遣い”になっている。
内容の薄い記事はnoindex、または関連記事へ統合。
- 内部リンクを集め、更新頻度を上げる。
- 構造化データを追加し、AIにも理解されやすくする。
このPAVEの考え方は、一見「大企業サイト向け」と思われがちですが、実は中小メディアでも有効な“記事棚卸しツール”として使えます。
僕の経験上、100記事を超えたあたりからは「記事の整理＝クロール効率改善」に直結します。
リライトや削除を行う際は、「このページはPAVEでどのくらい価値があるか？」を一度考えるだけで、リソース配分の優先順位が明確になり、結果的に“読まれる記事”が増えるようになります。
サーバーサイドレンダリング（SSR）がクロール効率と収益を上げる理由
近年、多くのサイトがJavaScriptを多用するようになり、記事の一部や重要なテキストがブラウザでスクリプトを実行して初めて表示されるケースが増えています。
しかし、これはSEOの観点では大きな問題です。
なぜなら、多くの検索エンジンやAIクローラー（GPTBotなど）はJavaScriptを実行しないため、クローラーがHTMLを取得した時点で中身が空（または不完全）だと、ページの価値を正しく判断できないからです。
クライアントサイドレンダリング（CSR）との違い
| レンダリング方式 | 仕組み | クローラー視点での問題 | ユーザー体験 |
|---|---|---|---|
| CSR （クライアントサイド） | ブラウザでJSを実行して内容を表示 | ボットはJSを読めず、主要コンテンツを認識できない | 初回表示が遅く、LCP悪化 |
| SSR （サーバーサイド） | サーバー側でHTMLを生成して送信 | 主要情報を即取得可能、AIにも読み取られやすい | 表示が早く、離脱率が低下 |
SSRがもたらす2つの効果
SSRでは、検索エンジンやAIボットがアクセスした瞬間に、ページ内の本文・商品名・価格・見出しなどを一度で読み取れます。
これにより、クロールあたりの「情報取得効率」が大幅に向上します。
Deloitteの調査では、モバイル表示速度が0.1秒改善するだけで小売CVRが約8〜10%向上したと報告されています。
SSRは読み込みを高速化し、ユーザー体験を向上させることで直接的に売上を押し上げる効果があります。
中小サイトでSSRを意識するポイント
とはいえ、WordPressなどのメディア運営ではSSRを完全に導入するのは難しい場合もあります。
その場合は、「部分SSR」や「静的化（HTMLキャッシュ化）」で代替できます。
- トップ記事・LP・商品ページなど“稼ぐページ”を優先的に静的化する。
- 画像やスクリプトの遅延読み込み（Lazy Load）を調整して、表示ブロックを減らす。
- LCP（Largest Contentful Paint）を2.5秒以内に保つように改善。
- 構造化データをHTML内に直接記述し、JS依存にしない。
実際、僕の運営するサイトでもSSR的な“静的生成＋キャッシュ配信”を取り入れてから、クロールの反映速度とインデックス精度が明らかに改善しました。
特にAIクローラーはJavaScriptをほぼスキップする傾向があるため、今後は「高速で、構造的に明快なHTML」を提供できるかが、AI検索時代の新たなSEO基盤になると思います。
データ分断をなくし、クロールデータと成果をつなぐ
多くの企業やサイト運営者が抱えている問題のひとつに、「クロールデータ」と「成果データ（アクセス・収益・CV）」が分断されているという点があります。
Search Engine Landでも指摘されていたように、このデータの断絶こそが、“本当に改善すべき箇所を見誤る最大の要因”です。
データが分断される典型例
| データ種別 | 管理場所 | 問題点 |
|---|---|---|
| クロールログ | サーバー側 or CDN （Cloudflareなど） | 専門知識がないと読み取れず、SEOチームが活用できない |
| 検索パフォーマンス | Google Search Console | クリックや表示はわかるが、クロールとの関連が見えない |
| コンバージョン／収益 | GA4や広告レポート | トラフィックの質はわかるが、どのURLが“機会損失”しているか不明 |
このようにデータがバラバラだと、「どのページがクロールされず、どのページで売上が発生しているか」が見えないままになり、結果として“頑張って更新しても成果に結びつかない”状態に陥ります。
解決策：データを「ひとつの地図」にまとめる
現実的には、すべてを高価なツールで統合する必要はありません。
以下のような“シンプルな統合ビュー”を作るだけでも、方向性が変わります。
| 指標 | 取得元 | 意味すること | 対応策 |
|---|---|---|---|
| クロール頻度 | サーバーログ or GSC Crawl Stats | どのURLが巡回されているか | 巡回されないURLは内部リンクを強化 |
| 表示回数／クリック数 | GSC | 検索結果での露出状況 | CTRが高いページを優先して更新 |
| CVR・収益 | GA4／広告レポート | 収益貢献度 | 売上上位ページを優先的に再クロール誘導 |
これをスプレッドシートで週1更新するだけでも、「クロール→インデックス→収益」の流れが可視化され、優先すべき記事やテンプレートが一目で分かるようになります。
僕自身も以前は、Search ConsoleとGA4を別々に見ていて、「なぜこのページだけ順位が上がらないのか？」という疑問を放置していた時期がありました。
ところが、サーバーログを併せて見たところ、そのページはほとんどクロールされていなかったという事実が分かりました。
このように、データを“つなげて見る”だけで、「順位が上がらない＝評価されていない」ではなく、「クロールされていない＝そもそも見てもらえていない」という本質的な問題に気づけます。
中小メディア運営者が実践できる「クロール設計」と収益最大化のやり方
ここまで紹介してきた内容は、一見すると大企業や大規模サイト向けの話に聞こえるかもしれません。
しかし実際には、中小規模のメディアこそ「クロール設計」が明暗を分けることがあります。
クロールバジェットは単なる技術論ではなく、“どの記事をGoogleやAIが評価するかを設計する”マーケティング戦略の一部として考えるべきです。
ステップ1：記事を“階層”ではなく“導線”で設計する
サイト構造をカテゴリ階層だけで考えると、クロールが深部に届かないことがあります。
重要なのは、「ユーザーもクローラーも迷わない導線」をつくることです。
- 主要カテゴリーの中に「テーマ別ハブページ（特集ページ）」をつくる。
- 各記事からハブへリンクを戻し、**“循環型構造”**をつくる。
- 内部リンクは本文中で自然に張る（フッターリンクより効果的）。
例：
「台湾留学」カテゴリ → ハブページ「台中で学ぶ中国語」 → 記事群（学校紹介・生活費・滞在方法）
これを相互リンクで循環させると、クロール効率とユーザー回遊が同時に上がる。
ステップ2：価値の低いページを“静かに減らす”
クロール効率を上げるうえで、減らす勇気も必要です。
| ページタイプ | 対応方針 |
|---|---|
| 内容が薄いタグ・アーカイブページ | noindexまたは削除 |
| 類似テーマの記事（競合する） | 統合し1本にまとめる |
| 更新されていない古い記事 | リライト or 関連記事へリダイレクト |
| テスト・キャンペーン用ページ | robots.txtで除外 |
定期的にサイト全体を棚卸しし、「見せたい記事だけが残っている」状態にすることが理想です。
ステップ3：クロール“されやすい”記事の特徴を意識する
クロールされやすいページは、概して内部・外部の両リンクが集まりやすい構造を持っています。
| 要素 | 内容 |
|---|---|
| 内部リンク | 関連記事からのリンク数が多い（サイト内人気記事） |
| 更新頻度 | 直近30日以内に更新がある |
| 外部評価 | SNSや他サイトからの被リンクが発生している |
| 構造 | 見出しとHTML構造がシンプルで読み取りやすい |
これらの特徴を意識して、「更新 × 内部リンク × SNS拡散」の3セットを習慣化すると、クロール頻度も上がり、AI検索でも拾われやすくなります。
僕自身、SEOメディアや旅行系サイトを運営していて、「古い記事を削除 or 統合 → 内部リンク再構築 → サイトマップ更新」の流れを行っただけで、インデックス率が20〜30%改善した経験があります。
特にWordPressの場合、タグやアーカイブが無秩序に増えると、クロールバジェットが分散して“本命記事”が見えにくくなります。
記事数よりもサイト設計の整理整頓こそが、AI時代のSEOで差を生む要素です。
