{"id":233,"date":"2014-06-22T22:03:01","date_gmt":"2014-06-22T19:03:01","guid":{"rendered":"http:\/\/blog.okanacar.com.tr\/?p=233"},"modified":"2018-04-10T23:38:44","modified_gmt":"2018-04-10T20:38:44","slug":"robots-txt","status":"publish","type":"post","link":"https:\/\/okanacar.com.tr\/blog\/?p=233","title":{"rendered":"Robots.txt"},"content":{"rendered":"<p><strong><em>Robots.txt<\/em><\/strong> dosyas\u0131 arama motorlar\u0131n\u0131n sitenizin hangi dizin ve dosyalar\u0131n\u0131 indekslemelerine izin verece\u011finizi hangilerinin de indekslemelerini istemedi\u011finizi belirlemenize yarayan dosyad\u0131r. Konum itibariyle sitenizin kok dizininde yer al\u0131r. Arama motorlar\u0131 sitenize geldiklerinde ilk olarak bu doyay\u0131 incelerler.<\/p>\n<p>Sitenizin kullan\u0131c\u0131\u0131lar\u0131n\u0131 ilgilendirmeyen ve sitenin alt yap\u0131s\u0131n\u0131 olu\u015fturan \u00f6nemli dosya ve dizinlerin indekslenmesini istemeyebiliriz. Bu i\u015flem \u00f6zellikle dinamik (php,.net vb.) \u00a0sistemlerde g\u00fcvenlik a\u00e7\u0131s\u0131ndan faydal\u0131 ve \u00f6nemli olacakt\u0131r.<\/p>\n<p>Sitemizin hen\u00fcz bitmemi\u015f ve haz\u0131rl\u0131k a\u015famas\u0131ndaki sayfalar\u0131n\u0131n da bitmeden indekslenmelerini bu \u015fekilde \u00a0ziyaret\u00e7ilerin kar\u015f\u0131s\u0131na \u00e7\u0131kmalar\u0131n\u0131 istemeyebiliriz.<\/p>\n<p><strong><em>Robots.txt<\/em><\/strong> dosyas\u0131n\u0131n bir ba\u015fka yarar\u0131 da sitemizin yer almas\u0131n\u0131 istemedi\u011fimiz arama motorlar\u0131nca indekslenmelerini \u00f6nlemek. Ayn\u0131 \u015fekilde, e-mail toplamak yada ba\u015fka k\u00f6t\u00fc ama\u00e7larla siteleri dola\u015fan zararl\u0131 \u00f6r\u00fcmceklerden de <strong><em>robots.txt<\/em><\/strong> dosyas\u0131 sayesinde kurtulabilirsiniz.<\/p>\n<p>Hangi sebeple olursa olsun bir <strong><em>robots.txt<\/em><\/strong> dosyas\u0131 olu\u015fturmak istedi\u011finizde kullanaca\u011f\u0131n\u0131z yap\u0131y\u0131 altta \u00f6zetledim.<\/p>\n<pre class=\"lang:default decode:true\">User-agent: [\u00d6r\u00fcmcek, Bot Adlar\u0131]\r\nDisallow: [Dizin ve dosya adlar\u0131]<\/pre>\n<p><!--more-->\u00d6rnek:<\/p>\n<pre class=\"lang:default decode:true\">User-agent: *\r\nDisallow: \/yonetim\/<\/pre>\n<p>Vermi\u015f oldu\u011fum \u00f6rnekte * i\u015fareti s\u00f6z konusu dizin ve dosyalar\u0131 hi\u00e7bir arama motorunun indesklemesini \u00a0istemedi\u011fimiz anlam\u0131na gelir. \u00d6rnek dizinimizde (yonetim) kulland\u0131\u011f\u0131m b\u00f6l\u00fc \/ i\u015fareti dizin i\u00e7inde yer alan t\u00fcm dosyalar\u0131n da indekslememesini sa\u011flamak i\u00e7indir.<\/p>\n<p>E\u011fer birden fazla dizine eri\u015fimi engellemek istiyorsak bunlar\u0131 a\u015fa\u011f\u0131daki gibi tek tek belirtmek en do\u011fru kullan\u0131m \u015fekli olacakt\u0131r.<\/p>\n<pre class=\"lang:default decode:true\">User-agent: *\r\nDisallow: \/yonetim\/\r\nDisallow: \/cache\/\r\nDisallow: \/images\/<\/pre>\n<p>E\u011fer sitemizde t\u00fcm robot programlar\u0131na izin vermek istiyorsak yap\u0131y\u0131 a\u015fa\u011f\u0131daki gibi kullanman\u0131z gerekmektedir.<\/p>\n<pre class=\"lang:default decode:true\">User-agent: *\r\nDisallow:<\/pre>\n<p>E\u011fer botlar\u0131 sitenizin t\u00fcm dizin ve dosyalar\u0131ndan uzak tutmak istiyorsan\u0131z, bunun i\u00e7in sitenizdeki t\u00fcm dizinleri ve dosyalar\u0131 tek tek belirmek yerine a\u015fa\u011f\u0131daki gibi kullanarak bu i\u015flemi kolayl\u0131kla yapabilirsiniz.<\/p>\n<pre class=\"lang:default decode:true\">User-agent: *\r\nDisallow: \/<\/pre>\n<p>Umar\u0131m anlatabilmi\u015fimdir.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Robots.txt dosyas\u0131 arama motorlar\u0131n\u0131n sitenizin hangi dizin ve dosyalar\u0131n\u0131 indekslemelerine izin verece\u011finizi hangilerinin de indekslemelerini istemedi\u011finizi belirlemenize yarayan dosyad\u0131r. Konum itibariyle sitenizin kok dizininde yer al\u0131r. Arama motorlar\u0131 sitenize geldiklerinde ilk olarak bu doyay\u0131 incelerler. Sitenizin kullan\u0131c\u0131\u0131lar\u0131n\u0131 ilgilendirmeyen ve sitenin alt yap\u0131s\u0131n\u0131 olu\u015fturan \u00f6nemli dosya ve dizinlerin indekslenmesini istemeyebiliriz. Bu i\u015flem \u00f6zellikle dinamik (php,.net vb.) &hellip;<\/p>\n","protected":false},"author":1,"featured_media":318,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[28],"tags":[57,55,54,38,56],"_links":{"self":[{"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=\/wp\/v2\/posts\/233"}],"collection":[{"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=233"}],"version-history":[{"count":2,"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=\/wp\/v2\/posts\/233\/revisions"}],"predecessor-version":[{"id":235,"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=\/wp\/v2\/posts\/233\/revisions\/235"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=\/wp\/v2\/media\/318"}],"wp:attachment":[{"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=233"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=233"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/okanacar.com.tr\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=233"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}