調査結果が「2000ページ以上」になるWebサイトのディレクトリマップを作成する方法

この記事の主旨

本記事ではMogyuraの調査結果が「2000ページ以上」となる場合に複数回に分けて取得する方法を解説します。

Mogyuraの仕様

Mogyuraは小中規模のWebサイトを対象としており、取得可能なページ数に上限を設けています。上限を超えた場合は調査を途中で終了し、それまでに取得できた分を送付する仕様となっています。

つまり、ディレクトリマップ作成の調査結果が「2000ページ以上」となっている場合はWebサイト全体のページを網羅できていない不完全な調査結果ということになります。

しかしながら、分割調査（数回に分けて調査）することで2000ページ以上のWebサイトでもページを網羅できる可能性が高くなります。

分割調査で利用する機能

ページ数調査

概要：
ディレクトリ名とページ数のみを取得する機能で、5000ページまで調査可能。

ディレクトリ設定（限定・除外）

概要：
調査範囲を指定したディレクトリに限定・除外する機能。

ケース別の調査方法

Webサイトの構造により調査方法が変わるため、２つのケースを例として分割調査の方法を説明します。いずれのケースでもディレクトリ構造やページ数の予想がつかない場合はSTEP１のページ数調査を行ってからディレクトリマップ作成をすることを推奨します。

【ケース１】特定ディレクトリのページ数が多いため「2000ページ以上」になる場合

ブログ記事やニュースなど更新頻度が高いコンテンツのディレクトリはページ数が多くなる傾向があります。そのため一見サイト規模が大きくないように見えても実際のページ数は2000を超えている場合があります。

調査手順

【ケース２】各ディレクトリがまんべんなく多い場合

ディレクトリが多数あり、それぞれある程度のページボリュームがある場合は「ディレクトリ設定（除外）」を使用して１回の調査が2000ページに収まるように分割調査をすることでWebサイト全体の調査することが可能です。

調査手順

注意点

１）ディレクトリ設定（限定）で指定したディレクトリ直下やドメイン直下に2000ページ以上存在する場合は、それ以上分割調査できないため網羅できません。

例）「/blog/ 」配下に2000ページ以上存在する場合
/blog/post-1.html
/blog/post-2.html
/blog/post-3.html
…
/blog/post-3000.html

２）ディレクトリ設定（限定）で指定したページがエラーになる場合、そのディレクトリは調査できません。

例）
URL：「https://example.com」
ディレクトリ設定（限定）：「/blog/」
→ブラウザで「https://example.com/blog/」にアクセスしてもエラーになる

３）ディレクトリ設定（限定）を指定した場合に取得できないページが存在する可能性がある。

---

解説は以上となります。
調査したいWebサイトの規模・構造に併せて「ページ数調査」「ディレクトリ設定（限定・除外）」の機能をぜひご活用ください。