webmaster
 
Konu Kilitli
19-02-2008 16:36:45
kadınca
 

Robots.txt nedir, ne işe yarar

Arama motorları, belki de sitenizin ziyaretçilerinin büyük bir bölümü onlar sayesinde sizi buluyorlar ve takip etmeye başlıyorlar. Bazen arama motorlarına sitenizi siz kaydetmek için başvuruyorsunuz, bazen de arama motorları Robot veya Bot denilen uygulamalarla sizin sitenizi buluyorlar. Bu bulma işleminde ise sitenizde bulunan her linki özenle tarayıp kendi veritabanlarına kaydediyorlar. Bu sayede arama sonuçlarında sitenizde ne var ne yok ziyaretçileriniz öğrenebiliyor, bulabiliyor.

Ancak bazı durumlarda sitenizi indeksleyen bu robotlara hükmetmek isteyebilirsiniz:


Parola koruması olmayan fakat çoğu kişinin de görmesini istemeyeceğiniz bir sayfanız olabilir,


Bazı sayfalarınızdaki programların ve içerik sayılamayacak bilgilerin (cgi-bin dizini gibi) taranmasını istemeyebilirsiniz,


Ya da sadece fazla bandwidth kaybetmek istemeyip taramanın yapılmamasını isteyebilirsiniz.

Bu gibi durumlarda robotlara hükmetmek için elinizde bir fırsat bulunuyor: robots.txt dosyası. Bu dosya sitenizin ana dizininde bulunur ve arama motorlarının gönderdikleri robotlara bazı komutlar verir. Örneğin bu dosyadaki bir satır ile adresinin arama motorlarında çıkmamasını sağlayabilirsiniz. Sitenize ftp ile bağlandığınızda eğer robots.txt adında bir dosya yoksa bunu siz de oluşturabilirsiniz. Eğer böyle bir dosya yoksa her robot tüm site içeriğini indeksleyecektir.

Basit olarak robots.txt dosyasının içinde şu iki satır bulunur:

User-agent: *
Disallow: /

Burada User-agent: satırı ve sonrasında gelen * işareti "Tüm robotlara alttaki komutu uygula" anlamına gelmektedir. Disallow: ise Türkçe karşılığıyla "İzin verme" demek olup, akabinde gelen / işaretiyle "tüm site içeriğini indeksleme" komutuna karşılık gelir.

Örnek olarak Google arama motorundan gelecek robotun, bizim sitemizdeki /gizli_bilgiler klasöründeki hiçbir içeriği taramamasını istiyoruz. Bunun için kullanmamız gereken komut satırı:

User-agent: Googlebot
Disallow: /gizli_bilgiler/

olacaktır. /gizli_bilgiler/ yazmamızdaki neden ise baştaki / işareti kök dizini, sondaki / işaret ise "gizli_bilgiler"in bir dizin olduğunu vurgulamak içindir. Eğer siz sadece bir dosyayı indeksletmemek isterseniz, Disallow: /gizli_dosya.html satırını da kullanabilirsiniz.

alıntıdır

Bir önceki yazı e-book nedir,e-kitap,elektronik kitap kavramı hakkında bilgi vermektedir.

31-03-2013 22:24:00
 
Robot.txt gördüğü her veriyi kaydeder. Bu yüzden gizli verilerinizi indexlemesini istemiyorsanız yukarıdaki işlemleri yapınız.

Konu Kilitli

"Robots.txt nedir, ne işe yarar" konusu hakkında etiketler
bilgileri demek dersi driver gizli ise isey islere nedir nedirn neise neye orbot rabot robat robot robotlar robotlarin robots robotstxt robotun ropot tarama tasarim teknoloji txt yapar yara yaradiklari yarar yararlar yariyor

e-book nedir,e-kitap,elektronik kitap kavramı Önceki | Sonraki Keyword stuffing nedir ?




Saat: 04:00 - Webmaster Forumu - Rss - Arşiv
İletişim Bilgileri, Contact Us, Kullanım Sözleşmesi, Gizlilik