Robots.txt ne işe yarar?
robots.txt, bir sitenin kök dizininde bulunan ve crawlerlara hangi URL yollarına erişim konusunda kurallar bildiren metin dosyasıdır. En sık kullanılan amaçlardan biri tarama davranışını yönlendirmektir. Ancak robots.txt bir erişim kontrol sistemi veya güvenlik duvarı değildir; hassas dosyaları korumak için tek başına kullanılmamalıdır.
Sitemap nedir?
XML sitemap, arama motorlarına sitenizdeki önemli URLleri keşfetmeleri için makine tarafından okunabilir bir liste sunar. Özellikle çok sayfalı, yeni açılmış, sık güncellenen veya derin bağlantı yapısına sahip sitelerde keşfi kolaylaştırabilir. Sitemap bir URLnin mutlaka indexleneceğini garanti etmez; yalnızca keşif sinyalidir.
Robots.txt ile sitemap arasındaki temel fark
- Robots.txt, crawlerların tarama davranışı için kurallar bildirir.
- Sitemap, önemli URLlerin keşfini kolaylaştırır.
- Robots.txt bir sayfanın Google sonuçlarında kesinlikle görünmeyeceğini garanti etmez.
- Sitemap, robots.txt tarafından engellenen URLleri listelememelidir; önemli URLlerin erişilebilir olması gerekir.
Disallow ne anlama gelir?
Disallow, belirli bir crawler için eşleşen yolun taranmamasını istemek amacıyla kullanılır. Sözdizimi basit görünse de wildcard, büyük-küçük harf, URL pathi ve farklı crawler davranışları nedeniyle canlı sitede test etmek önemlidir. robots.txt içine gizli klasörleri yazmak da iyi bir güvenlik yaklaşımı değildir; dosyanın kendisi herkese açık olduğundan bu yolları ifşa edebilir.
Sitemap robots.txt içine nasıl bildirilir?
Genellikle dosyanın sonunda tam sitemap adresi belirtilir: Sitemap: https://devtools.tr/sitemap.xml. devtools.tr üzerinde dinamik sitemap adresi bu yapıyla sunulmaktadır. Robots.txt Checker ile dosyanızı, Sitemap Checker ile sitemap adresinizi kontrol edebilirsiniz.
Robots.txt ile noindex aynı şey değildir
Sık yapılan bir hata, “Disallow yazarsam sayfa Google sonuçlarından çıkar” düşüncesidir. Tarama ile indexleme aynı kavram değildir. Arama motoru bir URLyi farklı kaynaklardan keşfedebilir ve içeriği tarayamasa bile URL hakkında sınırlı bilgi gösterebilir. Bir sayfanın arama sonuçlarında yer almaması gerekiyorsa uygun indexleme yönergeleri ve erişim kontrolü stratejisi ayrıca tasarlanmalıdır.
Sitemap için hangi URLler seçilmeli?
- 200 OK dönen ve indexlenmesini istediğiniz kanonik URLleri ekleyin.
- Yönlendirme yapan URLleri sitemapte ana hedef yerine koymayın.
- 404 ve 5xx dönen sayfaları çıkartın.
- Duplicate veya canonical olarak başka URLyi işaretleyen sayfaları dikkatle değerlendirin.
- Parametreli, gereksiz filtre URLlerini kontrolsüz biçimde eklemeyin.
SEO için doğru robots.txt + sitemap kontrol listesi
Önce robots.txtnin 200 döndüğünü ve doğru domain altında bulunduğunu kontrol edin. Ardından sitemap URLlerinin gerçekten erişilebilir olduğunu, XML biçiminin geçerli olduğunu ve listedeki sayfaların canonical URLlerle uyumlu olduğunu inceleyin. Son olarak Search Console üzerindeki tarama ve indexleme raporlarıyla gerçek davranışı doğrulayın.
Sonuç
Robots.txt ve sitemap birbirinin alternatifi değildir. Biri crawler davranışını yönlendirmeye, diğeri URL keşfine hizmet eder. Sağlam bir teknik SEO altyapısında ikisi; canonical, HTTP durum kodları, iç linkleme ve site mimarisiyle birlikte ele alınmalıdır.
Robots.txt güvenlik duvarı değildir
robots.txt herkes tarafından okunabildiği için gizli panel, yedek dosyası veya özel klasörleri saklamak için kullanılmamalıdır. Hassas kaynakların korunması authentication, authorization, web sunucusu erişim kuralları veya uygun uygulama kontrolleriyle yapılmalıdır. Robots dosyası yalnızca crawler davranışını yönlendiren bir sinyaldir.
Sitemap ile iç linkleme arasındaki ilişki
Sitemap önemli URLleri toplu biçimde bildirir; iç linkler ise kullanıcıların ve crawlerların site içinde doğal şekilde ilerlemesini sağlar. Bir URL yalnızca sitemapte bulunuyor ama sitenin hiçbir yerinden bağlantı almıyorsa site mimarisi açısından ayrıca incelenmelidir. En önemli içerikler hem iyi iç bağlantılara hem de doğru sitemap kaydına sahip olmalıdır.
Taşıma sonrası robots ve sitemap testi
Hosting değişikliklerinde staging ortamında kullanılan robots kuralları productiona taşınabiliyor. Bu nedenle DNS değişikliğinden hemen sonra robots.txt, sitemap.xml, canonical URLler ve önemli sayfaların HTTP kodları birlikte test edilmelidir. Tek bir yanlış Disallow satırı, teknik olarak çalışan bir sitenin arama görünürlüğünü ciddi biçimde etkileyebilir.
Sitemap index ne zaman kullanılabilir?
Çok büyük sitelerde birden fazla sitemap dosyasını sitemap index üzerinden organize etmek mümkündür. İçerik türlerini veya URL kümelerini ayrı dosyalara bölmek yönetimi kolaylaştırabilir. Ancak küçük bir sitede sırf daha profesyonel görünmek için gereksiz sitemap karmaşıklığı oluşturmaya gerek yoktur.
Robots.txt dosyasını deploy kontrolüne ekleyin
Robots.txt statik görünse de deploy sırasında değişebilir. CI/CD pipelineına robots dosyasının beklenen içeriğini kontrol eden basit bir test eklemek, yanlışlıkla tüm siteyi engelleyen bir değişikliğin productiona çıkmasını önleyebilir.