Robots.txt'nizi Test Edin
Test Sonuçları
Dağıtmadan Önce Robots.txt'nizi Test Edin
Tarama kurallarının doğru çalıştığını doğrulayarak önemli sayfaların arama motorlarından yanlışlıkla engellenmesini önleyin
robots.txt dosyanızı yüklemeden önce, kurallarınızın beklendiği gibi çalıştığını test etmek çok önemlidir. Tek bir hata Google'ın tüm sitenize veya önemli bölümlerinize erişmesini engelleyebilir. Bu araç, robots.txt içeriğinizi yapıştırmanıza ve birden fazla URL'yi test etmenize olanak tanır.
Neden Robots.txt'nizi Test Etmelisiniz?
robots.txt dosyası, doğru ayarlaması zor olabilen joker karakterler ve kalıplarla özel bir sözdizimi kullanır. Test etme, Allow ve Disallow kurallarınızın farklı kullanıcı aracıları için doğru çalıştığından emin olmanızı sağlar. Bu, CSS/JS dosyalarını, tüm dizinleri veya site haritanızı yanlışlıkla engelleme gibi yaygın hataları önler.
Özellikler
Çoklu URL Testi
robots.txt kurallarınıza karşı birden fazla URL'yi aynı anda test edin.
User-Agent Seçimi
Googlebot, Bingbot veya tüm botlar (*) gibi belirli botlar için kuralları test edin.
Anında Sonuçlar
Bir URL'nin izin verilip verilmediği veya engellenip engellenmediği hakkında anında geri bildirim alın.
İstemci Taraflı
Tüm testler tarayıcınızda gerçekleşir. robots.txt içeriğiniz asla hiçbir yere gönderilmez.
Test İpuçları
- Her zaman hedeflediğiniz belirli kullanıcı aracısıyla test edin (örn. Googlebot, Bingbot).
- Sorgu parametreleri (?page=2) ve sondaki eğik çizgiler içeren URL'ler gibi uç durumları test edin.
- CSS, JS ve görüntü dosyalarının yanlışlıkla engellenmediğini doğrulayın.
- Site haritası URL'nizin erişilebilir olduğundan emin olmak için test edin.
- Yönetici, giriş ve özel sayfaların doğru şekilde engellendiğini kontrol edin.
- robots.txt kurallarının yol için büyük/küçük harf duyarlı olduğunu unutmayın.
Sık Sorulan Sorular
robots.txt eşleştirmesi nasıl çalışır?
Robots.txt yol tabanlı eşleştirme kullanır. Disallow: /private/ /private/ ile başlayan tüm URL'leri engeller. * joker karakteri herhangi bir karakter dizisiyle eşleşir ve $ bir eşleşmeyi URL'nin sonuna sabitler.
Allow, Disallow'dan öncelikli midir?
Google'ın uygulaması daha spesifik kurala öncelik verir. Hem Allow hem de Disallow eşleşirse, daha uzun (daha spesifik) kalıp kazanır. Aynı uzunluktaysa Allow öncelik alır.
robots.txt büyük/küçük harf duyarlı mıdır?
User-agent alanı büyük/küçük harf duyarlı değildir, ancak yol eşleştirmesi (Allow/Disallow) duyarlıdır. Disallow: /Private/ /private/'ı engellemez.