Webmaster Araçları Robots.txt Oluşturucu

Robots.txt Oluşturucu

Web siteniz için profesyonel robots.txt dosyası oluşturun. Arama motorlarına hangi sayfaları tarayacaklarını ve hangilerini görmezden geleceklerini söyleyin. SEO performansınızı artırın.

Robots.txt Ayarlarını Yapın

Web sitenizin ana domain adresini girin
XML sitemap dosyanızın tam URL'sini girin
Arama motorlarının erişmesine izin vermek istediğiniz dizinleri her satıra bir tane yazın
Arama motorlarının erişmesini engellemek istediğiniz dizinleri her satıra bir tane yazın
Arama motorlarının sayfalar arasında beklemesi gereken süre (opsiyonel)

Oluşturulan Robots.txt Dosyası

Anlık Önizleme 

Ayarları yapın ve robots.txt dosyanızı oluşturun...

Robots.txt ayarlarını yapın ve "Robots.txt Oluştur" butonuna tıklayın

Robots.txt Dosyası Nedir ve Neden Önemlidir?

Robots.txt dosyası, web sitenizin kök dizininde bulunan ve arama motorlarına hangi sayfaları tarayabileceklerini, hangilerini tarayamayacaklarını söyleyen bir metin dosyasıdır. Bu dosya, SEO stratejinizin önemli bir parçasıdır ve arama motoru botlarının sitenizde nasıl davranacağını kontrol etmenizi sağlar.

Robots.txt Dosyasının Faydaları

  • Tarama Kontrolü: Arama motorlarının hangi sayfaları tarayacağını belirleyebilirsiniz
  • Sunucu Yükü Azaltma: Gereksiz sayfa taramalarını engelleyerek sunucu yükünü azaltır
  • Gizlilik Koruması: Özel veya hassas sayfaları arama motorlarından gizleyebilirsiniz
  • SEO Optimizasyonu: Önemli sayfaların daha iyi indexlenmesini sağlar
  • Sitemap Yönlendirme: XML sitemap dosyanızın konumunu belirtebilirsiniz

Robots.txt Dosyası Nasıl Çalışır?

Arama motoru botları (Googlebot, Bingbot vb.) sitenizi ziyaret ettiğinde ilk olarak robots.txt dosyasını kontrol eder. Bu dosyada belirtilen kurallara göre hangi sayfaları tarayacaklarına karar verirler. Dosya şu temel komutları içerir:

  • User-agent: Hangi botlar için kural geçerli
  • Disallow: Taranması yasak dizinler/dosyalar
  • Allow: Taranmasına izin verilen dizinler/dosyalar
  • Sitemap: XML sitemap dosyasının konumu
  • Crawl-delay: Botların sayfalar arası bekleme süresi

Robots.txt Dosyası Örnekleri

Temel Robots.txt Örneği:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /images/
Sitemap: https://orneksite.com/sitemap.xml

WordPress için Robots.txt:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-content/uploads/
Sitemap: https://orneksite.com/sitemap.xml

Sıkça Sorulan Sorular

Robots.txt dosyası zorunlu mu?

Hayır, robots.txt dosyası zorunlu değildir. Ancak SEO performansınızı artırmak ve arama motorlarına rehberlik etmek için kullanılması önerilir.

Robots.txt dosyasını nereye yüklemeliyim?

Robots.txt dosyası mutlaka web sitenizin kök dizinine (root) yüklenmelidir. Örnek: https://orneksite.com/robots.txt şeklinde erişilebilir olmalıdır.

Robots.txt ile sayfaları tamamen gizleyebilir miyim?

Robots.txt sadece arama motoru botlarına yönergeler verir. %100 gizlilik için password koruması veya noindex meta etiketi kullanmalısınız.

Robots.txt dosyasını nasıl test edebilirim?

Google Search Console'daki "robots.txt Tester" aracını kullanarak dosyanızın doğru çalışıp çalışmadığını test edebilirsiniz.

Robots.txt değişikliklerinin etkisi ne kadar sürer?

Arama motorları robots.txt dosyasını düzenli olarak kontrol eder. Değişikliklerin etkili olması genellikle birkaç saat ile birkaç gün arasında sürer.

Sitemap URL'sini robots.txt'e eklemeli miyim?

Evet, XML sitemap dosyanızın URL'sini robots.txt dosyasına eklemek SEO açısından faydalıdır ve arama motorlarının sitenizi daha iyi anlamasını sağlar.

Hızlı ve Kolay

Sadece birkaç tıkla profesyonel robots.txt dosyası oluşturun. Teknik bilgiye gerek yok, kullanımı çok basit.

SEO Dostu

Arama motoru optimizasyonu için en iyi uygulamaları içeren robots.txt dosyaları oluşturun.

Anında İndirme

Oluşturduğunuz robots.txt dosyasını anında indirin ve web sitenizin kök dizinine yükleyin.