Uji Robots.txt Anda
Hasil Pengujian
Uji Robots.txt Sebelum Deploy
Verifikasi aturan crawl bekerja dengan benar untuk mencegah pemblokiran halaman penting dari mesin pencari secara tidak sengaja
Sebelum mengunggah file robots.txt, sangat penting untuk menguji bahwa aturan Anda bekerja sesuai harapan. Satu kesalahan saja dapat memblokir Google dari mengakses seluruh situs atau bagian penting Anda. Alat ini memungkinkan Anda menempelkan konten robots.txt dan menguji beberapa URL terhadapnya.
Mengapa Menguji Robots.txt?
File robots.txt menggunakan sintaks khusus dengan wildcard dan pola yang bisa sulit untuk dikonfigurasi dengan benar. Pengujian memastikan aturan Allow dan Disallow Anda bekerja dengan benar untuk user agent yang berbeda. Ini mencegah kesalahan umum seperti memblokir file CSS/JS, seluruh direktori, atau sitemap Anda secara tidak sengaja.
Fitur
Pengujian Multi-URL
Uji beberapa URL sekaligus terhadap aturan robots.txt Anda.
Pemilihan User-Agent
Uji aturan untuk bot tertentu seperti Googlebot, Bingbot, atau semua bot (*).
Hasil Instan
Dapatkan umpan balik langsung apakah URL diizinkan atau diblokir.
Sisi Klien
Semua pengujian terjadi di browser Anda. Konten robots.txt Anda tidak pernah dikirim ke mana pun.
Tips Pengujian
- Selalu uji dengan user-agent spesifik yang Anda targetkan (contoh: Googlebot, Bingbot).
- Uji kasus edge seperti URL dengan parameter query (?page=2) dan trailing slash.
- Verifikasi bahwa file CSS, JS, dan gambar tidak diblokir secara tidak sengaja.
- Uji URL sitemap Anda untuk memastikan dapat diakses.
- Periksa bahwa halaman admin, login, dan privat diblokir dengan benar.
- Ingat bahwa aturan robots.txt bersifat case-sensitive untuk path.
Pertanyaan yang Sering Diajukan
Bagaimana pencocokan robots.txt bekerja?
Robots.txt menggunakan pencocokan berbasis path. Disallow: /private/ memblokir semua URL yang dimulai dengan /private/. Wildcard * mencocokkan urutan karakter apa pun, dan $ mengaitkan pencocokan ke akhir URL.
Apakah Allow lebih diprioritaskan daripada Disallow?
Implementasi Google memprioritaskan aturan yang lebih spesifik. Jika Allow dan Disallow keduanya cocok, pola yang lebih panjang (lebih spesifik) menang. Jika panjangnya sama, Allow diprioritaskan.
Apakah robots.txt case-sensitive?
Field User-agent tidak case-sensitive, tetapi pencocokan path (Allow/Disallow) bersifat case-sensitive. Disallow: /Private/ tidak akan memblokir /private/.