「ベクトル埋め込みで重複コンテンツを検出できる」という紹介を見て、Screaming Frogの重複検出機能がすべて刷新されたと誤解していませんか。実際に公式チュートリアルを確認すると、追加されたのは既存の重複検出とは別枠の新機能で、名前も判定方法も異なります。
この記事で分かること
- Screaming Frogの「セマンティック重複検出」（公式名 Semantic Similarity）が何を検出する機能か
- 従来からある「Near Duplicates」機能との判定方法の違い
- 既定の判定閾値0.95が意味すること、設定でどこまで変えられるか
検証環境：Screaming Frog SEO Spider 公式チュートリアル・公式ブログ本文（v22.0関連ページ）を2026-08-08に直接確認。
01結論：セマンティック重複検出でNear Duplicatesを置き換えるわけではない
Screaming Frogのセマンティック重複検出は、バージョン22.0で追加された機能です。公開日は2025年6月10日です（出典: Screaming Frog公式ブログ・2025-06-10公開）。
公式ブログによると、この機能はLLM埋め込みを使って単語の意味・概念レベルでページ同士の近さを測ります（出典: Screaming Frog公式ブログ・2025-06-10公開）。
従来の「Near Duplicates」機能は廃止されておらず、両者は別のフィルターとして併存しています。セマンティック重複検出は、Near Duplicatesが拾えなかった「言い回しは違うが趣旨が重なるページ」を追加で見つけるための機能です。
02セマンティック重複検出とは何か｜LLM埋め込みで意味を測る
公式チュートリアルによると、セマンティック重複検出はページの意味的類似性を分析する機能です（出典: Screaming Frog公式チュートリアル・2026-08-08確認）。重複・類似コンテンツと、テーマから外れた低関連コンテンツの両方を検出します。
判定の土台になるのは、ページのテキストをAIプロバイダーのAPIへ送って得るベクトル埋め込みです。公式チュートリアルによると、対応プロバイダーは3社です（出典: Screaming Frog公式チュートリアル（AI連携）・2026-08-08確認）。OpenAI・Gemini・Ollamaで、メニュー表記では「Config > API Access > AI」から接続します。
Screaming FrogのAI連携機能自体はAnthropic（Claude）にも対応済みです。ただしセマンティック重複検出向けの埋め込み抽出プロンプトは、2026-08-08確認時点でOpenAI・Gemini・Ollama向けのみが用意されています。Anthropicは選択肢に含まれていません。
03従来の「Near Duplicates」機能とセマンティック重複検出の違い
Screaming Frogには元々、テキストの一致度でページを比較する「Near Duplicates」というフィルターがあります。公式ユーザーガイドによると、この機能はminhashアルゴリズムを使います（出典: Screaming Frog公式ユーザーガイド・2026-08-08確認）。既定の判定閾値は90%です。
同ガイドはさらに、Near Duplicatesの解析対象を明記しています（出典: Screaming Frog公式ユーザーガイド・2026-08-08確認）。対象はページ全体のHTMLではなく、抽出後のテキスト部分です。完全一致の重複判定には、これとは別にMD5アルゴリズムによるハッシュ値比較が使われます。
セマンティック重複検出は、この2つとは判定の物差しそのものが異なります。文字列がどれだけ一致するかではなく、AIプロバイダーが生成したベクトル同士の距離で近さを測るため、表現が違っても趣旨が重なるページを拾えます。
| 機能 | 判定方法 | 既定閾値 | 見ている対象 |
|---|---|---|---|
| Exact Duplicates | MD5ハッシュによる完全一致比較 | 完全一致のみ | ページ全体のHTML |
| Near Duplicates | minhashアルゴリズムによるテキスト一致度 | 90% | 抽出後のテキスト |
| セマンティック重複検出 | LLM埋め込みによる意味的な距離 | 0.95 | 抽出後のテキストの意味 |
一言で言えば、文字面が揃っていなくても意味が重なっていれば拾うのがセマンティック重複検出で、文字面の一致度で機械的に拾うのがNear Duplicatesです。両方を有効にしておけば、検出の抜けを互いに補えます。
セマンティック重複検出には、個別ページの比較以外にも使い道があります。関連機能が「Content Cluster Diagram」です（出典: Screaming Frog公式ブログ・2025-06-10公開）。「Visualisations」メニューから開けます。
公式ブログによると、クロールした全ページの埋め込みを2次元へ落とし込み、意味的に近いページ同士を同じ色でまとめて表示する図です。最大10,000ページまで一度に表示でき、離れた場所に孤立して表示されるノードが低関連コンテンツの候補です。
判定結果は「Bulk Export > Content > Semantically Similar」から一括エクスポートできます。公式チュートリアルによると、サイト移行時の新旧URL対応づけにも使えます（出典: Screaming Frog公式チュートリアル・2026-08-08確認）。重複コンテンツの発見だけでなく、リダイレクト設計や内部リンクの見直しにも展開できる機能です。
04セマンティック重複検出を有効にする設定手順
公式チュートリアルが示す設定手順は、次の7ステップです（出典: Screaming Frog公式チュートリアル・2026-08-08確認）。
- 「Config > API Access > AI」でOpenAI・Gemini・Ollamaのいずれかへ接続する（APIキーの取得が前提）
- プロンプト設定「Add from Library」で埋め込み抽出用プリセットを選ぶ（Gemini例: Extract Semantic Embeddings from Page）
- 「Config > Spider > Extraction」で「Store HTML」と「Store Rendered HTML」を有効にする
- 「Config > Content > Embeddings」で「Enable Embedding functionality」をオンにする
- 同じ画面で「Semantic Similarity」と「Low Relevance」を有効にする
- 対象サイトをクロールし、APIの進捗バーが完了表示になるまで待つ
- クロール完了後に「Crawl Analysis > Start」を実行し、Contentタブに結果を表示させる
つまずきやすいのは3番目のステップです。「Store HTML」を有効にし忘れると、埋め込み設定画面にエラーメッセージが表示され、フィルターへ何も反映されません。この設定はページ内容をベクトル化するための前提であり、省略すると手順4以降がすべて空振りします。
Config > Content > Embeddings
Enable Embedding functionality: ON
Semantic Similarity: ON（既定閾値0.95・0.50〜1.00で調整可）
Low Relevance: ON（既定閾値0.40）05判定閾値0.95とLow Relevance Content 0.40の関係
セマンティック重複検出のスコアは0から1の範囲で、値が高いほど直近の類似ページに近いという設計です（出典: Screaming Frog公式ブログ・2025-06-10公開）。
公式チュートリアルによると、既定では0.95以上のスコアを持つページが「Semantically Similar」フィルターに表示されます。この閾値は「Config > Content > Embeddings」から調整できます（出典: Screaming Frog公式チュートリアル・2026-08-08確認）。下限は0.50までです。
似た仕組みで動くもう一つのフィルターが「Low Relevance Content」です。こちらはクロールした全ページの埋め込みを平均した「重心」からの距離を測り、既定閾値0.40を下回るページを、サイト全体のテーマから外れた低関連コンテンツとして表示します。
閾値を下げるほど「似ている」と判定される範囲は広がり、検出件数は増えます。逆に閾値を上げると検出は絞られますが、実際には重複と呼べない近縁ページまで見落とすようになります。自社サイトでまず既定値のまま実行し、検出結果の精度を見てから閾値を調整する順序が安全です。
06セマンティック重複検出でつまずきやすい点
公式チュートリアル・公式ユーザーガイドを確認すると、次の5点で思い込みと実際の挙動がずれます（出典: Screaming Frog公式ユーザーガイド・2026-08-08確認）。
| つまずきやすい思い込み | 公式チュートリアルで確認できること |
|---|---|
| 従来のNear Duplicates機能が置き換わった | Near Duplicatesは併存しており、判定方法（minhash・90%）も変わっていない |
| Anthropicでも埋め込み抽出ができる | 埋め込み抽出プロンプトの対応プロバイダーはOpenAI・Gemini・Ollamaのみ |
| 有効化すればすぐ結果が出る | クロール後に「Crawl Analysis」を別途実行しないとフィルターへ反映されない |
| ナビゲーションやフッターの定型文もそのまま解析される | 既定でnavとfooter要素は除外され、必要ならContent > Areaでさらに調整できる |
| 無料版でも使える機能だ | セマンティック重複検出とLow Relevance Contentは有料ライセンス前提の機能 |
このうち実務で最も見落としやすいのは、クロール分析を別途実行し忘れるケースです。クロールを終えただけではフィルターに何も表示されず、機能が動いていないと誤解しがちです。右側のOverviewタブに「クロール分析が必要」という表示が出ていないか、先に確認してください。
07セマンティック重複検出チェックリスト
- 対象サイトが有料ライセンスの範囲に含まれているか確認した
- 「Config > API Access > AI」でOpenAI・Gemini・Ollamaのいずれかに接続した
- 埋め込み抽出用のプロンプトをプロンプトライブラリから追加した
- 「Store HTML」「Store Rendered HTML」を有効にした
- 「Config > Content > Embeddings」でSemantic SimilarityとLow Relevanceを有効にした
- クロール完了後に「Crawl Analysis > Start」を実行した
- Contentタブで「Semantically Similar」「Low Relevance Content」フィルターの件数を確認した
- 既定閾値のまま検出結果を確認してから、必要に応じて閾値を調整した
- Near Duplicatesフィルターの結果とあわせて、重複判定の抜けがないか突き合わせた
08FAQ
セマンティック重複検出はNear Duplicatesの後継機能ですか
いいえ。両者は別のフィルターとして併存しています。Near Duplicatesはminhashアルゴリズムによるテキスト一致度（既定90%）で判定します。セマンティック重複検出はLLM埋め込みによる意味的な距離（既定0.95）で判定します。
セマンティック重複検出は無料版でも使えますか
使えません。この機能とLow Relevance Contentは有料ライセンスが前提です（出典: Screaming Frog公式チュートリアル・2026-08-08確認）。
セマンティック重複検出にAnthropicのAPIは使えますか
埋め込み抽出のプロンプトは2026-08-08確認時点でOpenAI・Gemini・Ollama向けのみが用意されており、Anthropicは対象に含まれていません。
判定閾値0.95はどこまで下げられますか
「Config > Content > Embeddings」から0.50まで下げられます（出典: Screaming Frog公式チュートリアル・2026-08-08確認）。閾値を下げるほど検出件数は増えますが、実際には重複と言えないページまで拾いやすくなります。
クロールしても「Semantically Similar」フィルターに何も出ません
多くの場合、クロール後に「Crawl Analysis > Start」を実行し忘れています。セマンティック重複検出はクロール自体とは別に、この分析ステップを経て初めてフィルターへ反映されます。
Low Relevance Contentとセマンティック重複検出は同じ機能ですか
同じ埋め込みの仕組みを土台にしていますが、見ている対象が異なります。セマンティック重複検出はページ同士の近さを、Low Relevance Contentはサイト全体の重心からの距離を測ります。
