[Webツール]Googlebot クロールリミットテストツール(2MB)

お客さまへの調査用に使っていたツールを1つ、Webツールとして公開致しました、1分間5回程度のクォータ制限はありますが、登録など不要で使えるようにしました、よろしければお使い下さい。

Google 検索のクロール時、Googlebot はファイルの最初の 2 MBだけを読み込むようになりました。 自分のページ及び読み込みファイルが制限に達していないか簡易チェックツールです

外部ホストの CSS / JS は最初から取得しません。計測対象は入力 URL と同一ホストのみです。

Googlebot クロールリミットテストツール(2MB) (Crawl Checker)
https://roundup-inc.co.jp/stools/mb/

ツールの背景

Google Search向けのGooglebotには、取得できるデータ量に明確な上限が設けられています。 サポート対象のファイルについては「先頭から2MBまで」、PDFについては「先頭から64MBまで」がクロール対象です。

クロール上限の2MBに達すると、Googlebotはその時点で取得を打ち切ります。 すでに取得した範囲のデータだけがインデックスの検討対象に回され、 2MBを超えた部分に含まれるコンテンツは検索評価に反映されない可能性があります。

追加希望などあればご一報下さいませ。