Robots.txt dosyası arama motorlarının sitenizin hangi dizin ve dosyalarını indekslemelerine izin vereceğinizi hangilerinin de indekslemelerini istemediğinizi belirlemenize yarayan dosyadır. Konum itibariyle sitenizin kok dizininde yer alır. Arama motorları sitenize geldiklerinde ilk olarak bu doyayı incelerler.
Sitenizin kullanıcıılarını ilgilendirmeyen ve sitenin alt yapısını oluşturan önemli dosya ve dizinlerin indekslenmesini istemeyebiliriz. Bu işlem özellikle dinamik (php,.net vb.) sistemlerde güvenlik açısından faydalı ve önemli olacaktır.
Sitemizin henüz bitmemiş ve hazırlık aşamasındaki sayfalarının da bitmeden indekslenmelerini bu şekilde ziyaretçilerin karşısına çıkmalarını istemeyebiliriz.
Robots.txt dosyasının bir başka yararı da sitemizin yer almasını istemediğimiz arama motorlarınca indekslenmelerini önlemek. Aynı şekilde, e-mail toplamak yada başka kötü amaçlarla siteleri dolaşan zararlı örümceklerden de robots.txt dosyası sayesinde kurtulabilirsiniz.
Hangi sebeple olursa olsun bir robots.txt dosyası oluşturmak istediğinizde kullanacağınız yapıyı altta özetledim.
User-agent: [Örümcek, Bot Adları] Disallow: [Dizin ve dosya adları]
Örnek:
User-agent: * Disallow: /yonetim/
Vermiş olduğum örnekte * işareti söz konusu dizin ve dosyaları hiçbir arama motorunun indesklemesini istemediğimiz anlamına gelir. Örnek dizinimizde (yonetim) kullandığım bölü / işareti dizin içinde yer alan tüm dosyaların da indekslememesini sağlamak içindir.
Eğer birden fazla dizine erişimi engellemek istiyorsak bunları aşağıdaki gibi tek tek belirtmek en doğru kullanım şekli olacaktır.
User-agent: * Disallow: /yonetim/ Disallow: /cache/ Disallow: /images/
Eğer sitemizde tüm robot programlarına izin vermek istiyorsak yapıyı aşağıdaki gibi kullanmanız gerekmektedir.
User-agent: * Disallow:
Eğer botları sitenizin tüm dizin ve dosyalarından uzak tutmak istiyorsanız, bunun için sitenizdeki tüm dizinleri ve dosyaları tek tek belirmek yerine aşağıdaki gibi kullanarak bu işlemi kolaylıkla yapabilirsiniz.
User-agent: * Disallow: /
Umarım anlatabilmişimdir.
