user-agent

Seo

Robots.txt

Robots.txt dosyası arama motorlarının sitenizin hangi dizin ve dosyalarını indekslemelerine izin vereceğinizi hangilerinin de indekslemelerini istemediğinizi belirlemenize yarayan dosyadır. Konum itibariyle sitenizin kok dizininde yer alır. Arama motorları sitenize geldiklerinde ilk olarak bu doyayı incelerler. Sitenizin kullanıcıılarını ilgilendirmeyen ve sitenin alt yapısını oluşturan önemli dosya ve dizinlerin indekslenmesini istemeyebiliriz. Bu işlem özellikle dinamik (php,.net vb.)  sistemlerde güvenlik açısından faydalı ve…