Robots.txtをテスト
テスト結果
デプロイ前にRobots.txtをテスト
クロールルールが正しく機能していることを確認し、重要なページが検索エンジンから誤ってブロックされるのを防ぎます
robots.txtファイルをアップロードする前に、ルールが期待通りに機能するかテストすることが重要です。1つのミスでGoogleがサイト全体や重要なセクションにアクセスできなくなる可能性があります。このツールを使えば、robots.txtの内容を貼り付けて複数のURLをテストできます。
なぜRobots.txtをテストするのか？
robots.txtファイルは、正しく設定するのが難しいワイルドカードやパターンを含む特定の構文を使用します。テストにより、異なるユーザーエージェントに対してAllowとDisallowルールが正しく機能することを確認できます。これにより、CSS/JSファイル、ディレクトリ全体、サイトマップの誤ったブロックなどの一般的なミスを防ぎます。
機能
マルチURLテスト
robots.txtルールに対して複数のURLを一度にテストします。
ユーザーエージェント選択
Googlebot、Bingbot、またはすべてのボット（*）などの特定のボットのルールをテストします。
即時結果
URLが許可されているかブロックされているかの即時フィードバックを取得します。
クライアントサイド
すべてのテストはブラウザ内で行われます。robots.txtの内容はどこにも送信されません。
テストのヒント
- 常にターゲットとしている特定のユーザーエージェント（例：Googlebot、Bingbot）でテストしてください。
- クエリパラメータ（?page=2）や末尾のスラッシュを含むURLなどのエッジケースをテストしてください。
- CSS、JS、画像ファイルが誤ってブロックされていないか確認してください。
- サイトマップURLがアクセス可能であることをテストしてください。
- 管理、ログイン、プライベートページが適切にブロックされているか確認してください。
- robots.txtルールはパスの大文字小文字を区別することを忘れないでください。
よくある質問
robots.txtのマッチングはどのように機能しますか？
Robots.txtはパスベースのマッチングを使用します。Disallow: /private/ は /private/ で始まるすべてのURLをブロックします。ワイルドカード * は任意の文字列にマッチし、$ はURLの末尾にマッチをアンカーします。
AllowはDisallowより優先されますか？
Googleの実装では、より具体的なルールが優先されます。AllowとDisallowの両方がマッチする場合、より長い（より具体的な）パターンが勝ちます。同じ長さの場合、Allowが優先されます。
robots.txtは大文字小文字を区別しますか？
User-agentフィールドは大文字小文字を区別しませんが、パスマッチング（Allow/Disallow）は区別します。Disallow: /Private/ は /private/ をブロックしません。