Robots.txt'nizi Oluşturun
Daha İyi SEO İçin Profesyonel Robots.txt Oluşturucu
Doğru yapılandırılmış bir robots.txt dosyasıyla arama motorlarının web sitenizin içeriğine nasıl eriştiğini ve dizine eklediğini kontrol edin
Ücretsiz robots.txt oluşturucumuz, kullanımı kolay görsel bir arayüzle özel robots.txt dosyanızı oluşturmanıza yardımcı olur. Kodlama gerekmez — sadece tercihlerinizi seçin, kurallar ekleyin ve dosyanızı indirin. Google, Bing, Yahoo dahil tüm büyük arama motorları ve web tarayıcılarıyla çalışır.
robots.txt Nedir?
robots.txt, web sitenizin kök dizinine yerleştirilen ve arama motoru tarayıcılarına hangi sayfalara veya bölümlere erişebileceklerini ya da erişemeyeceklerini bildiren bir metin dosyasıdır. Robot Hariç Tutma Protokolü'nün (REP) bir parçasıdır ve botların sitenizi ziyaret ederken kontrol ettikleri ilk şeylerden biridir. İyi yapılandırılmış bir robots.txt dosyası, tarama bütçesini optimize etmeye ve hassas alanları korumaya yardımcı olur.
Temel Özellikler
Görsel Oluşturucu
Kod yazmadan robots.txt'nizi görsel olarak oluşturun. Sözdizimi yerine tıklamalarla kural ekleyin.
Hızlı Ön Ayarlar
Yaygın yapılandırmalarla başlayın — tümüne izin ver, tümünü engelle, AI tarayıcıları engelle veya standart kurulum.
Birden Fazla User-Agent
Googlebot, Bingbot ve AI botları gibi farklı tarayıcılar için özel kurallar oluşturun.
Site Haritası Bildirimi
Daha iyi keşfedilebilirlik için site haritası URL'lerinizi doğrudan robots.txt dosyasına ekleyin.
Anında İndirme
Oluşturulan dosyanızı anında indirin veya panoya kopyalayın.
100% İstemci Taraflı
Tüm işlemler tarayıcınızda gerçekleşir. Hiçbir veri herhangi bir sunucuya gönderilmez.
Nasıl Kullanılır
- Bir ön ayar seçin veya kuralları manuel olarak ekleyerek sıfırdan başlayın.
- User-Agent'ı ayarlayın (örn. tüm botlar için * veya Googlebot gibi belirli bir bot).
- Botların hangi sayfalara erişebileceğini kontrol etmek için Allow ve Disallow yolları ekleyin.
- İsteğe bağlı olarak tarama gecikmesi ayarlayın ve site haritası URL'lerinizi ekleyin.
- Çıktıyı görmek için 'robots.txt Oluştur' düğmesine tıklayın.
- Dosyayı kopyalayın veya indirin ve web sitenizin kök dizinine yükleyin.
En İyi Uygulamalar
- robots.txt'yi her zaman web sitenizin kök dizinine yerleştirin (örn. example.com/robots.txt).
- Hassas verileri gizlemek için robots.txt kullanmayın — bunun yerine kimlik doğrulama veya noindex kullanın.
- Daha hızlı dizine ekleme için her zaman bir Sitemap yönergesi ekleyin.
- Dağıtmadan önce robots.txt'nizi Google Search Console ile test edin.
- Joker karakter (*) Disallow kurallarına dikkat edin — yanlışlıkla önemli sayfaları engelleyebilirler.
- Tarama gecikmesini yalnızca sunucunuz botlardan yüksek yük yaşıyorsa ayarlayın.
Sık Sorulan Sorular
robots.txt dosyasını nereye koyarım?
https://yourdomain.com/robots.txt adresinde erişilebilir olması için web sitenizin kök dizinine yükleyin. Çoğu web barındırma kontrol panelinde bir dosya yöneticisi bulunur.
robots.txt sayfaları Google'dan engeller mi?
robots.txt, tarayıcılara belirli sayfaları taramamalarını söyler, ancak arama sonuçlarında görünmeyeceklerini garanti etmez. Dizine eklemeyi gerçekten engellemek için 'noindex' meta etiketini veya X-Robots-Tag HTTP başlığını kullanın.
User-Agent: * ne anlama gelir?
Yıldız işareti (*), kuralları tüm web tarayıcılarına ve botlara uygulayan bir joker karakterdir. 'Googlebot' veya 'Bingbot' gibi belirli botları da hedefleyebilirsiniz.
robots.txt SEO'mu iyileştirebilir mi?
Evet! Tarama bütçenizi doğru yöneterek, arama motorlarının düşük değerli veya yinelenen içeriklere kaynak harcamak yerine en önemli sayfalarınıza zaman ayırmasını sağlarsınız.