robots.txt Detaylı Rehber: Yapı, Direktifler ve Pratik Örnekler

robots.txt sitenin en küçük ama en yıkıcı dosyası. Bir 'Disallow: /' satırı bütün siteyi yok eder. Bir dikkatsiz wildcard önemli sayfaları crawl dışı bırakır. Aşağıda 8 yıldır 200+ sitede gördüğümüz hataları ve doğru kullanım örneklerini paylaşıyorum.

robots.txt nedir, ne işe yarar?

/robots.txt yolunda yer alan, arama motoru bot'larına 'hangi URL'leri crawl etme' söyleyen plain text dosya. Sıralama faktörü değil, crawl yönetim aracı. Yanlış kullanım indexleme çöküşü yaratır.

Temel direktifler

User-agent

Hedef bot. * = tüm botlar. Googlebot, Bingbot, Slurp gibi spesifik bot adları.

Disallow

Crawl edilmeyecek URL pattern. /admin/, /cart/, /*.pdf$ örnekleri.

Allow

Disallow içinde istisna. Disallow: /folder/ + Allow: /folder/important.html.

Sitemap

Sitemap URL'i. Mutlak URL şart: Sitemap: https://example.com/sitemap.xml.

Crawl-delay

Bing/Yandex destekler, Google desteklemiyor. Aşırı load için bot'a bekleme süresi.

Genel WordPress örneği

User-agent: *\nDisallow: /wp-admin/\nAllow: /wp-admin/admin-ajax.php\nDisallow: /wp-content/plugins/\nDisallow: /readme.html\nDisallow: /?s=\nDisallow: /search/\nSitemap: https://example.com/sitemap.xml

E-ticaret için örnek

User-agent: *\nDisallow: /cart/\nDisallow: /checkout/\nDisallow: /my-account/\nDisallow: /*?sort=\nDisallow: /*?filter=\nDisallow: /*?color=\nDisallow: /search/\nAllow: /sitemap.xml\nSitemap: https://example.com/sitemap_index.xml

Yaygın 7 hata

1. 01Disallow: / — tüm siteyi block eder. Staging'den production'a kopyalamada en yıkıcı hata.
2. 02Wildcard hatası: Disallow: /*.pdf yerine Disallow: /*.pdf$ kullanın.
3. 03Case sensitivity: /Folder/ ile /folder/ farklı.
4. 04CSS/JS block: Disallow: /assets/ — render bozulur, Google CSS/JS'i göremiyor.
5. 05Sitemap eksik: Sitemap satırı koymamak — opsiyonel ama önerilir.
6. 06noindex direktifi: 2019'dan beri robots.txt'de noindex desteği yok. Meta tag kullanın.
7. 07.env, .git gibi gizli dosyaları robots.txt'de listelemek — saldırgana yol gösterir.

robots.txt vs noindex vs canonical

• robots.txt: Crawl engelleme. URL hâlâ index'te kalabilir, sadece içeriği bilinmez.
• noindex meta tag: Crawl olur ama index'e girmez. Crawl'a izin verin (robots.txt'de Disallow yok), meta noindex koyun.
• canonical: Duplicate'lerde otorite konsolidasyonu.

Test etme

Search Console > Settings > Crawl Stats. Eski robots.txt Tester deprecated ama URL Inspection ile spot-check yapabilirsiniz. Screaming Frog 'Crawl > robots.txt' tab'ında simülasyon.