この記事の主旨
本記事ではMogyuraの調査結果が「2000ページ以上」となる場合に複数回に分けて取得する方法を解説します。
Mogyuraの仕様
Mogyuraは小中規模のWebサイトを対象としており、取得可能なページ数に上限を設けています。上限を超えた場合は調査を途中で終了し、それまでに取得できた分を送付する仕様となっています。
つまり、ディレクトリマップ作成の調査結果が「2000ページ以上」となっている場合はWebサイト全体のページを網羅できていない不完全な調査結果ということになります。
しかしながら、分割調査(数回に分けて調査)することで2000ページ以上のWebサイトでもページを網羅できる可能性が高くなります。
Mogyuraの取得ページ数上限(プロプランの場合)
ディレクトリマップ作成:2000ページまで
ページ数調査:5000ページまで
分割調査で利用する機能
![](https://blog.mogyura.com/v2/wp-content/uploads/2024/04/dammy04-1024x518.jpg)
ページ数調査
概要:
ディレクトリ名とページ数のみを取得する機能で、5000ページまで調査可能。
ヘルプ:ページ数調査とはどのような機能ですか?
ヘルプ:ディレクトリ設定の「ディレクトリの深さ」とは何ですか?ページ数調査で特定ディレクトリを3階層まで指定する方法を教えてください。
ディレクトリ設定(限定・除外)
概要:
調査範囲を指定したディレクトリに限定・除外する機能。
ヘルプ:ディレクトリ設定の詳細について教えて下さい。
ケース別の調査方法
Webサイトの構造により調査方法が変わるため、2つのケースを例として分割調査の方法を説明します。いずれのケースでもディレクトリ構造やページ数の予想がつかない場合はSTEP1のページ数調査を行ってからディレクトリマップ作成をすることを推奨します。
【ケース1】特定ディレクトリのページ数が多いため「2000ページ以上」になる場合
![](https://blog.mogyura.com/v2/wp-content/uploads/2024/04/dammy05-1024x457.jpg)
ブログ記事やニュースなど更新頻度が高いコンテンツのディレクトリはページ数が多くなる傾向があります。そのため一見サイト規模が大きくないように見えても実際のページ数は2000を超えている場合があります。
調査手順
調査意図:Webサイトの構造と全体のボリュームを把握する
/blog/ 1800
/company/ 200
/service/ 200
/csr/ 200
/recruit/ 200
/faq/ 200
/help/ 200
→ページ数調査結果:合計3000ページ
調査意図:「/blog/」配下のみのディレクトリマップを取得する
指定方法:
URL:「https://example.com」
ディレクトリ設定>限定:「/blog/」
→取得ページ数:1800ページ(DM1)
調査意図:「/blog/」以外のディレクトリマップを取得する
指定方法:
URL:「https://example.com」
ディレクトリ設定>除外:「/blog/」
→取得ページ数:1200ページ(DM2)
DM1(1800ページ)+DM2(1200ページ)=3000ページ
【ケース2】各ディレクトリがまんべんなく多い場合
![](https://blog.mogyura.com/v2/wp-content/uploads/2024/04/dammy06-1024x457.jpg)
ディレクトリが多数あり、それぞれある程度のページボリュームがある場合は「ディレクトリ設定(除外)」を使用して1回の調査が2000ページに収まるように分割調査をすることでWebサイト全体の調査することが可能です。
調査手順
調査意図:Webサイトの構造とボリュームを把握する
/directory-1/ 1000
/directory-2/ 1000
/directory-3/ 1000
/directory-4/ 1000
/directory-5/ 1000
→ページ数調査結果:合計5000ページ
調査意図:1回の調査を2000ページ以内に収まるように分割して調査する
1)「/directory-1/」,「/directory-2/」を取得する
指定方法:
URL:「https://example.com」
ディレクトリ設定(除外):「/directory-3/」,「/directory-4/」,「/directory-5/」
→取得ページ数:2000ページ
2)「/directory-3/」,「/directory-4/」を取得する
指定方法:
URL:「https://example.com」
ディレクトリ設定(除外):「/directory-1/」,「/directory-2/」,「/directory-5/」
→取得ページ数:2000ページ
3)「/directory-5/」を取得する
指定方法:
URL:「https://example.com」
ディレクトリ設定(除外):「/directory-1/」,「/directory-2/」,「/directory-3/」,「/directory-4/」
→取得ページ数:1000ページ
注意点
1)ディレクトリ設定(限定)で指定したディレクトリ直下やドメイン直下に2000ページ以上存在する場合は、それ以上分割調査できないため網羅できません。
例)「/blog/ 」配下に2000ページ以上存在する場合
/blog/post-1.html
/blog/post-2.html
/blog/post-3.html
…
/blog/post-3000.html
2)ディレクトリ設定(限定)で指定したページがエラーになる場合、そのディレクトリは調査できません。
例)
URL:「https://example.com」
ディレクトリ設定(限定):「/blog/」
→ブラウザで「https://example.com/blog/」にアクセスしてもエラーになる
3)ディレクトリ設定(限定)を指定した場合に取得できないページが存在する可能性がある。
ヘルプ:ディレクトリ設定(限定)した場合は、ディレクトリ配下にある全てのページを取得できますか?
解説は以上となります。
調査したいWebサイトの規模・構造に併せて「ページ数調査」「ディレクトリ設定(限定・除外)」の機能をぜひご活用ください。