“robots.txt” nedir? Ne iÅŸe yarar?

Arama motorlarının botları sitenizi indexlemek için ziyarete geldiğinde ilk olarak robots.txt dosyasını kontrol ederler. Çünkü bu dosyada hangi sayfaları indexleyip hangilerini indexlemeyecekleri yer alır.

robots. txt dosyası ana dizinde kullanılır. Alt dizinlerin indexlenmesini istemiyorsak yine komutu ana dizindeki robots.txt dosyasından veririz.

robots.txt içinde sitemap (site haritası) yolunuzu gösterip, botun haritaya kolayca ulaşmasını sağlayabirsiniz. Nasıl yapıldığını en alttaki örneğe bakrak görebilirsiniz.

Ayrıca indexlenmesini istemediğimiz sayfalarda alternatif olarak meta tag kullanabiliriz. Çünkü birçok ücretsiz servis ana dizine ulaşmamıza izin vermeyebilir.

Bir robots.txt dosyasının adresi şu şekilde olmalıdır;

http://www.siteadi.com/robots.txt

Yanlış kullanımlardan bi örnek ise;

http://www.siteadi.com/altklasor/robots.txt

Ayrıca robots.txt dosyları belli şekillerd yazılır. HTML gibi farklı kodlama biçimleri içermemelidirler. Aşağıdaki örnekleri inceleyelim:

Tüm sitenizin indexlenmesini engellemek;

User-agent: *
Disallow: /

Tüm sitenizin indexlenmesini sağlamak;

User-agent: *
Disallow:

Bir dizinin indekslenmesini engellemek;

User-agent: *
Disallow: /dizin/

Bir sayfanın indekslenmesini engellemek;

User-agent: *
Disallow: /dizin/sayfa.html

Şimdide kapsamlı bir robots.txt yazalım:

User-agent: *
Disallow: /cgi-bin/
Disallow: /odevler/
Disallow: /admin.html
Sitemap: http://www.siteadı.com/sitemap.xml