監査ツールが「重複コンテンツなし」と報告しても、それは重複が存在しない証明にはなりません。テクニカルSEO監査には、比較の対象にすら乗らないURLが存在するからです。この記事では、仕様から起こりうるパターンとして構成した仮想のケースを扱います。このケースをもとに、機械検査が拾える範囲と拾えない範囲を、GoogleとScreaming Frogの公式ドキュメントで検証します。
01何が起きたか：テクニカルSEO監査が「重複ゼロ」と報告した日
ここから先は、本誌が実際に運用した記録ではありません。公開されている仕様をもとに構成した仮想のシナリオであり、登場するサイトやチームは特定の実在団体を指しません。
Screaming Frogは2025年6月公開のv22.0で、OpenAI・Gemini・Anthropic・Ollamaという4つのAIプロバイダーと連携する機能を追加しました。この機能を設定すれば、クロールデータに対してカスタムプロンプトを実行できます。実行できる上限は最大100件です（出典: Screaming Frog「How To Crawl With AI Prompts」・2026-08-08確認）。今回の症状に関わるのはこのAI連携機能そのものではなく、同じv22.0で強化された重複検出の仕組みです。
あるカテゴリページには、価格順・新着順の並び替え機能と、色やサイズで絞り込むフィルタ機能がありました。Google Search Centralは、並び替えやフィルタ機能で結果が生成される場合を重要な例として挙げています。これは重複URLが生まれる典型例の一つです（出典: Google Search Central「正規化とは」・2026-08-08確認）。同ページは他にも、地域差・デバイス差・プロトコル差など5パターンを重複URLの発生要因として明記しています。
チームはテクニカルSEO監査としてScreaming FrogのNear Duplicates機能を実行し、結果は「検出0件」でした。既定のしきい値は90%で、これを上回る一致がなければ近似重複として表示されません（出典: Screaming Frog「Near Duplicates」・2026-08-08確認）。並行して、対象カテゴリのオーガニック経由の流入は横ばいが続いていました。
02最初に疑ったこと（誤診）：コンテンツの質を疑い、URLの構造を見落とした
監査ツールが「0件」と報告した以上、重複コンテンツという原因は消去できると考えるのは自然です。しかし「0件」という表示は、テキストが比較されてしきい値未満だった結果なのか、そもそも比較対象が1つしかなかった結果なのかを、画面上では区別しません。
チームは次に、記事の情報量やE-E-A-Tの弱さ、検索アルゴリズムの変動を疑いました。いずれも「テクニカルSEO監査で重複0件」という前提の上に立てた仮説であり、前提そのものを疑う発想には至りませんでした。
Screaming Frog公式ガイドによると、Near Duplicatesの検出には「Enable Near Duplicates」の設定が必要です。それだけでなく、クロール後に別途「Crawl Analysis」の実行が必要です（出典: Screaming Frog「Near Duplicates」・2026-08-08確認）。この2つの条件がそろって初めて、近似重複の判定が動きます。
03テクニカルSEO監査の本当の原因：しきい値・設定・索引という3つの死角
「0件」という表示の裏には、少なくとも3つの異なる死角が重なっていました。
| 仕組み | 何を比較するか | 見えない領域 |
|---|---|---|
| Near Duplicates（既定しきい値90%） | クロール済みページのテキスト同士 | クロールされなかったURL、しきい値未満の一致 |
| Semantic Similarity（既定しきい値0.95） | LLM embeddingsによる意味の近さ | 対応プロバイダーはOpenAI・Google Gemini・Ollamaの3つ（Anthropicの明記なし） |
| Googleの正規化（rel=canonical等） | クロール・索引の各シグナル | どのURLを正規と選ぶかは「ヒント」止まりで確定ではない |
Near Duplicatesはクロールされたページのテキストだけを比較します。パラメータ違いのURLがクロール設定によって1つに正規化されていれば、比較対象は最初から1つしかなく、「0件」は重複が無い証明にはなりません。
Semantic Similarityはさらに、OpenAI・Google Gemini・Ollamaの埋め込みモデルでベクトル化します。0.95を上回るスコアを意味的な近似と判定します（出典: Screaming Frog「Semantic Similarity」・2026-08-08確認）。設定には「Store HTML」の有効化を含む5つの手順が必要で、途中を1つ省くと機能自体が動きません。
Googleは正規URLの選定について次のように明記しています。「正規化の希望を伝えることはできますが、確実ではありません」（出典: Google Search Central「正規化とは」・2026-08-08確認）。監査ツールでcanonicalタグの記述を確認できても、Googleが実際にそのURLを正規に選んだかどうかは別問題です。
実際にどのURLが選ばれたかは、Search Consoleの「ページ インデックス登録レポート」でしか確認できません。同レポートが定義する未登録の理由は合計15個あります。そのうち3個が重複・正規化に関するラベルです（出典: Search Console ヘルプ「ページ インデックス登録レポート」・2026-08-08確認）。代表的なものは次の2つです。
- 重複していますが、ユーザーが正規ページとして選択していません
- 重複しています。Googleにより、ユーザーがマークしたページとは異なるページが正規ページとして選択されました
Screaming Frogの監査結果とGoogleの索引結果は、別のレポートです。両方を見て初めて、パラメータ違いのURLがどう扱われているかの全体像がつかめます。
04テクニカルSEO監査を二重化する：監査ツールとサーチコンソールを両方見る運用へ
恒久対策は、単一のツールの「0件」表示を信じないことに尽きます。具体的には、次の3つを運用に組み込みます。
- Screaming Frogでは「Enable Near Duplicates」に加え、必ず「Crawl Analysis」を実行する。設定を有効にしただけでは検出は動きません
- Remove Parameters等でクロール範囲からURLを除外している場合、除外前のURLが本当に不要かを確認してから重複監査に進む
- Search Consoleの「ページ インデックス登録レポート」で、重複・正規化ラベルの件数を毎回突き合わせる。監査ツールが0件でも、レポート側にラベルが出ていれば実際には重複が存在する
Googleは2022年3月、Search ConsoleのURLパラメータツールを廃止しています。この廃止は公式発表のとおりです（出典: Google Search Central「URLパラメータツール廃止」・2026-08-08確認）。パラメータごとの扱いを個別に指示する専用の管理画面は、現在は存在しません。だからこそ、クロール設定と索引結果を手動で突き合わせる運用が欠かせません。
テクニカルSEO全体の優先順位については『AI時代のテクニカルSEO｜構造化データより先に見る所』で整理しています。重複コンテンツの削減は、クロール性の確保に次ぐ優先度に位置づけられます。
パラメータURLをクロール対象から外すかどうかは、AIクローラーごとの許可・拒否設定とは別の話です。後者の判断基準は『AIクローラーへのrobots.txt設定、許可と拒否の判断基準』で扱っています。
05二度と起こさないための仕組み：テクニカルSEO監査で「検出なし」を鵜呑みにしない運用ルール
再発防止の中心は、チェックのタイミングを制度化することです。個人の注意力に頼りません。
テクニカルSEO監査を実施する際は、Screaming FrogとSearch Consoleの結果を同じレビューの場で並べて確認します。片方だけを見て「問題なし」と結論づける運用は、レビューの手順書自体で禁止します。
大量のURLバリエーションが機械的に生まれる場面は、記事の量産でも起こります。『AI量産記事とスパムポリシー違反｜見るべきは本数でなく価値』では、本数ではなく価値が問われる理由を扱っています。パラメータ違いのURLも、量ではなく「読者にとって別ページである必要があるか」で判断する点は共通しています。
06同じ失敗を避けるためのテクニカルSEO監査チェックリスト
- Near Duplicatesを実行する際、「Enable Near Duplicates」だけでなく「Crawl Analysis」も実行したか確認した
- パラメータ付きURLがRemove Parameters等の設定でクロール対象から外れていないか確認した
- 監査ツールの「検出なし」表示を、Search Consoleの「ページ インデックス登録レポート」の除外理由と突き合わせた
- 重複・正規化に関するラベルの件数を記録し、前回の監査結果と比較した
- rel=canonicalの記述と、Googleが実際に選んだ正規URLが一致しているかを確認した
- Semantic Similarityを使う場合、しきい値0.95が自社サイトの文章量に対して妥当か確認した
- サイトマップに掲載しているURLが、正規URLだけになっているか確認した
- 「重複なし」という結果を、単一ツールの表示だけで結論づけていないか確認した
