webmaster
 
›
Cevapla
12-06-2008 00:11:25
kadınca
 

bu Robots.txt ne işe yarar ?

Sitenizin sorgu istatistiklerini incelerken karşınıza Googlebot un veya başka bir botun hostunuzda robots.txt adlı dosyaya ulaşmaya çalıştığını görebiliriniz.

Peki bu Robots.txt ne işe yarar ?

Robots.txt aslında bilinenin aksine sitenizde robotların girmemelerini istediğiniz sayfaları belirtmenize yarar. Mesela bir yönetim panelinizin arama motorları tarafından indexlenmesini istemiyorsunuz. Bunu robots.txt dosyasında belirterek sağlayabilirsiniz.

Robots.txt dosyasını bir çok webmaster kullanmaz. Ama siz web sitenizin güvenliğine önem veriyorsanız ve bazı dosyaların botlar tarafından gezilmemesini istiyorsanız ya da daha yapım aşamasında olan bir sitenizin indexlenmesini istemiyorsanız bu dosyayı kullanmanız gerekmektedir.

Robots.txt dosyasını ana dizine atmanız gerekmektedir. domain.com/robots.txt gibi

Örnek Kullanım Şekli ;

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /muratozcirpici/

Bu şekilde yaparsanız bütün botların cgi-bin , tmp ve muratozcirpici klasörlerine girişini engellemiş olursunuz.

Tek robotluk komut vermek istiyorsanız ;

User-agent: OzcirpiciBot
Disallow: /

şeklinde kullanabilirsiniz.

Robotların girişini engellemek istediğiniz bir dosya veya klasör yoksa bu dosyayı kullanmanız gerekmemektedir. Unutmayın ki robots.txt arama motorlarında üst sıralara çıkmanızda yardımcı olmayacaktır.

Daha detaylı bilgi için ulaşabileceğiniz adres ;

Web Server Administrator's Guide to the Robots Exclusion Protocol

Saygılarımla,
Yazan : Murat Özçırpıcı

Bir önceki yazı 5 adımda seo yapacaksınız-alıntı makale, seoculara hakkında bilgi vermektedir.

Cevapla

"bu Robots.txt ne işe yarar ?" konusu hakkında etiketler
arsiv asamasindaki bootex burobots domainrobots dosyasi ise kullanmaliyiz lenmesi neye roboots robot robots robotstxt robotx seo sitenin txt yapar yapim yaran yarar yariyor

5 adımda seo yapacaksınız-alıntı makale, seoculara Önceki | Sonraki MetaTaglar Gerçekten Etkili mi ? meta tag gerçeği




Saat: 16:25 - Webmaster Forumu - Rss - Arşiv
İletişim Bilgileri, Contact Us, Kullanım Sözleşmesi, Gizlilik