Googlebot クロールサイズチェッカー

Googlebot クロールサイズチェッカーは、ウェブページやPDFの非圧縮サイズを測定し、Googlebotの公式クロール制限内に収まっているかを確認します。ページがこれらの制限を超えると、Googlebotは処理するコンテンツを切り捨てるため、インデックス登録時に重要な情報、構造化データ、リンクが無視される可能性があります。

Googlebotのクロールサイズ制限について

Googleは、ファイルタイプごとに特定のサイズしきい値を公式ドキュメントで規定しています。Googlebotがこれらの制限に達すると、ダウンロードを停止し、すでに取得したコンテンツのみを処理します：

• HTMLおよびサポートされているファイル： Googlebotは、非圧縮コンテンツの最初の2 MBをクロールします。これには、HTMLドキュメント自体と、インラインのCSSおよびJavaScriptが含まれます。外部リソース（スタイルシート、スクリプト、画像）は個別に取得され、それぞれに独自の制限があります。
• PDFファイル： Googlebotは、PDFドキュメントの最初の64 MBをクロールします。これは余裕のある制限ですが、非常に大きなPDFレポートやカタログなどは確認することをお勧めします。

これらの制限は、ネットワークツールで表示される圧縮された転送サイズではなく、非圧縮のコンテンツサイズに適用されます。サーバーがgzip圧縮されたレスポンスを送信したとしても、Googlebotは解凍後のフルサイズを測定します。

なぜページサイズがSEOに重要なのか

インデックスの切り捨て

ページがサイズ制限を超えると、しきい値以降のすべてがGoogleから見えなくなります。これにより、以下のような問題が発生する可能性があります：

• 重要な本文コンテンツがインデックスに登録されない
• ページの下部にある構造化データ（JSON-LDスキーマ）が見落とされる
• フッターや下部ナビゲーション内の内部リンクが検出されない
• リッチリザルトや検索機能が検索結果に表示されない

ページが巨大化する主な原因

• 過剰なインラインCSS/JavaScript： HTMLに直接埋め込まれた大規模なフレームワークやコンポーネントライブラリ
• サーバーサイドレンダリング（SSR）コンテンツ： HTML内に大量のデータペイロードをシリアル化するSPA
• 長い商品一覧ページ： 数百の商品が並ぶEコマースのカテゴリーページ
• 冗長なHTMLコメント： 大量のコメントブロックを注入するビルドツール
• 埋め込みデータ： ページソース内のBase64エンコードされた画像や大規模なJSONデータ

このツールの仕組み

1. Googlebot UAで取得： ツールは、Googlebotの公式ユーザーエージェント文字列を使用し、真の非圧縮サイズを測定するために非圧縮コンテンツ（Accept-Encoding: identity）をリクエストしてURLを取得します。
2. コンテンツタイプの検出： レスポンスがHTMLかPDFかを自動的に検出し、対応する制限（2 MBまたは64 MB）を適用します。
3. 測定と分析： 非圧縮のコンテンツサイズを測定し、制限と比較します。HTMLの場合、インラインCSS、JavaScript、およびコメントの内訳が表示されます。
4. リダイレクト追跡： HTTPリダイレクト（301、302など）を検出し、元のURLから最終的なURLまでの完全なリダイレクトチェーンを表示します。

ページサイズを削減する方法

インラインコードを外部ファイルに移動する

最も効果的な最適化は、大きなインライン <style> および <script> ブロックを外部のCSSおよびJavaScriptファイルに移動することです。各外部ファイルには独自の2 MB制限が適用され、ブラウザによってキャッシュされます。

不要なコンテンツを削除する

• 本番ビルドからHTMLコメントを削除する
• 非表示または重複しているコンテンツブロックを削除する
• インラインCSSおよびJavaScriptを縮小（Minify）する
• 未使用のデータ属性や空の要素を削除する

ページ構造の最適化

• 無限スクロールの代わりに、長いコンテンツページにはページネーションを使用する
• ファーストビュー（Above-the-fold）以外のコンテンツセクションを遅延読み込みする
• DOMの深さと要素数を削減する
• 大きなデータペイロードをAPIエンドポイントに移動する

Googlebotの制限に対してページサイズを確認する方法

1. URLを入力する： 確認したいページのフルURLを入力フィールドに入力または貼り付けます。このツールはHTTPとHTTPSの両方のURLを受け付けます。
2. サイズチェックをクリックする： 「クロールサイズをチェック」ボタンをクリックします。ツールはGooglebotのユーザーエージェント文字列を使用してページを取得し、非圧縮のコンテンツサイズを測定します。
3. 結果を確認する： 制限に対するページサイズを示すビジュアルゲージ、コンテンツの内訳分析、および必要に応じて最適化のための具体的な推奨事項を確認します。

よくある質問

Googlebotのクロールサイズ制限とは何ですか？

Googlebotは、HTMLおよびサポートされているファイルタイプ（CSSやJavaScriptなど）の最初の2 MBをクロールします。PDFファイルの場合、Googlebotは最初の64 MBをクロールします。これらの制限を超えるコンテンツは、Googleによって処理またはインデックス登録されない可能性があります。これらの制限は、圧縮された転送サイズではなく、非圧縮のファイルサイズに適用されます。

ページがGooglebotのサイズ制限を超えるとどうなりますか？

ページがクロールサイズ制限を超えると、Googlebotは制限内のコンテンツのみを処理し、残りは無視します。つまり、ページの最後にある重要なコンテンツ、構造化データ、またはリンクがインデックス登録されない可能性があります。これにより、不完全なインデックス登録、検索機能（リッチリザルトなど）の欠落、SEOパフォーマンスの低下を招く可能性があります。

2 MBの制限は圧縮されたコンテンツと非圧縮のコンテンツのどちらに適用されますか？

2 MBの制限は、非圧縮のコンテンツに適用されます。サーバーが圧縮（gzipまたはbrotli）レスポンスを送信したとしても、Googlebotは解凍後の非圧縮サイズを測定します。このツールは、Googlebotが実際に処理する内容を正確に測定するために、非圧縮のコンテンツをリクエストします。

ページサイズをGooglebotの制限内に収めるために、どのように削減すればよいですか？

ページサイズを削減するには：(1) インラインCSSを外部スタイルシートに移動する、(2) インラインJavaScriptを外部ファイルに移動する、(3) 不要なHTMLコメントを削除する、(4) DOMの深さと複雑さを最小限に抑える、(5) サーバーサイドレンダリングを選択的に使用する、(6) 非クリティカルなコンテンツを遅延読み込みする、(7) 非表示または重複したコンテンツを削除する、(8) 非常に長いコンテンツページにはページネーションを使用する。

Googlebotは外部のCSSやJavaScriptファイルを個別にクロールしますか？

はい、Googlebotは外部のCSS、JavaScript、および画像リソースを個別に取得します。各外部リソースには、それぞれ独自の2 MBの制限があります。メインページの2 MBの制限にカウントされるのは、HTMLドキュメント内のインラインスタイルとスクリプトのみです。これが、大きなインラインコードを外部ファイルに移動することが効果的な最適化戦略である理由です。

追加リソース

• Google 検索セントラル - Googlebot の概要
• Google - ページのサイズを削減する
• Googlebot - Wikipedia