Standart indeksleme işlemi, google ve tüm diğer botlar

Bu konunun anlaşılması google ve arama motorlarıyla iyi geçinmek isteyen webmasterlar için tasarım ve hazırlı kaşamasında rehber niteliğindedir.

Standart bir İndeksleme şu şekilde işler:
1.) Bot (Örümcek) ana sayfaya ulaşır. Burada sayfaya ait tüm alt bağlantıları ve dışarı çıkan bağlantıları toplar ve kendi veri tabanına indirir.

Diğelim 10 alt klasör ve 10 alt sayfan mevcut 10 adette dışarı bağlantı verilmiş. Bunları toplar.

Ana sayfaya 30 puan verirsek, her bir bağlantıya 1 adet puan verilir. Bunlar ileride google pr hesabına direkt katkı yaparlar.

10 klasörümüzün 10 puanı var toplamda ve her klasöre 1 puan pr gitmiştir.

Şu şekilde olayı gösterelim.
Yani ana sayfanız 30 puan önemli ise google gözünde alt sayfalar 1 puan önemlidir. Sıralamada bunu benzer şekilde kullanır.

Bu bölme işlemi standart pr hesaplamasının da temelini oluşturur. Az klasore linki veya sayfaya linki veya çıkış linki olan siteler daha çok pr ve önem taşırlar. (Eksik bilgi var tabi, pr değeri yüksek sitelere çok çıkış vermeninde olumlu etkisi olur)

Şimdi bot bu ana sayfada 30 url topladı diyelim.
10 klasore ulaştı ve burada toplam 50 sayfa 5 klasor daha topladı
Tekrar bu bilgileri veri tabanına indirir ve yeni bir örümcek bu kalan urleleri indekslemeye başlar. Ancak bu işlem için tüm sayfayı indirmesi gerekeceği için açılan kanallarda /thread) bir kopma olabilir ve indeksleme başarılı olamaz. Google botta 1 gigabit bağlantı kullanır ve 100,000 threade ulaştığında thread başına 10kkps gücü kalacaktır. Genelde apache vb. web sunucular vb. tüm isteklere cevap veremez bazılarını kaçırır bu da indekslenmeyen sayfaların açıklamalarından biridir. Bu nedenle tüm sayfa ve omurga yapımızı google'a anlatmak için bir site haritası yaparız.

Şimdi google örümceği tüm bu sayfaları dolaştıktan sonra kendi algoritmasındaki kalite puanına göre bu sayfaları değerlendirir. Ana sayfadan direkt link alan klasor onun bir alt klasörüne göre daha değerlidir.

Bu mantıkla daha çok hit almasını istediğiniz sayfaları ana sayfaya içerik yapmanız veya oradan direkt bağlantı vermeniz daha mantıklıdır.

İndeksleme işlemi olarak google diğer botlardan daha gelişmiştir. Örneğin yahoo slurp botu indekslerken resmen siteye tecavüz eder. Bir anda tüm topladığı bağlantıları gelmeye kalkar ve bazıları eyvah ddos alıyorum sitem niye çöktü durduk yere gibi söylemlere başlar. Botlar bi anlamda sitenin bulunduğu serverı ezerler.

Slurp botu için bu nedenle robots.txt nize bir gecikme verilmelidir. Tabi o zamana kadar yahoo botuna uslu durmayı öretebilirse gerek kalmaz. Google tarama hızını bizim ayalarlamamıza müsade ediyor. Akıllı, terbiyeli bir bot.
robots.txt'nize bu şekilde bir gecikme verdirebilirsiniz.

önce ufak değerle başlanıp yükün çok gelmemesi için daha yüksek değerlere çekilmesi önerilir
indeksleme işlemi için tek baş belası yahoo değildir cuil, msn vb. arama motorları zaman zaman serverınıza uğrayıp bilgileri veritabanlarına ç-alıntılar yaparlar. Tek kurtuluş bunlara robots.txt disallow vermektir. E'sen de arama motoru yaz sende ç-al ama di mi. Maksat herkes aradığını bulsun. Nerde bu devlet nerde bu adalet diyenler için. Ya da adama bak benim içeriği çekiyor veritabanına atıyor sonra birileri aradıkça benim içeriğimle benden para kazanıyor beş kuruşta bana vermiyor diyenleriniz olabilir.
Bu adamlar dürüstse o zaman korsanlar da dürüst üstelik cesur adamlardır demek geliyor içimden ama korsanlığa özendirmeyim sizleri Sonuçta o korsan olmazsa bize kim hit göndericek bu kadar. Yani aramızda büyük korsanlara ihtiyacımız var, sayelerinde biz küçükler verdikleri hitlerle geçinip gidiyoruz.

kısaca
dosyanızı txt yapıp ftp ana dizinine koyarsanız tüm botları sayarsınız. Korsan botları hariç. Onlar robots.txtye aldırmayan botlardır.

İndeksleme işlemi işte böyle bişey, teknolojin varsa indeksle başka sitelerin haberlerini, sitelerini, blogları vb. vb. hatta git kütüphaneye copyrightları bitmiş kitapları robotlarınla at içeriğine. Sonra fikirleri düşünceleri yarışmalarla topla yatırımların daha çok kazansın diye. İşte al sana yeni bir google (denizaltı gözlüğü) daha.

Şimdi en iyi indeskleyen örümcek en çok içeriği, en kısa zamanda ve en sık aralıklarla indeksleyebilen ve değerli içeriği en yukarı çekebilen örümcektir. Şuan bunu en iyi google yapmaktadır. (Rusların google a rakip arama motoru Randex i ve pek çok başka botu incelemedim henüz)

3 farklı google örümcek var olduğu düşünülür:

1 tanesi siz google.com üzerinde arama yaptığınızda arama motoru veritabanına ulaşıp bilgiyi getiren örümcek.
1 tanesi veritabanına url taşıyan daha yıldırım örümcek bazıları freshbot dediler
1 tanesi içeriği içeriği komple taşıyan kamyoncu örümcek (kamyon kamyon bilgi taşıdığı resmedilerek)

siz webmasterlar ilk sitenize yıldırım örümcek gelir. Bu adam url yollarını ve kamyonların geçeceği yolları ana merkeze bildirir. Ve bildirirken bu elindekileri ne kadar çekebiliyorsa bir geçici indeks veritabanına atar. İşte aramalarda yenisitelerin aniden yukarda çıkmaların nedeni bu yıldırım eklembacaklı paşasıdır. Bu paşayı sitemap veya site haritası çok memnun eder. Yoksa kendisi gezip inip derinliklere o apachenin ve diğer sunucunun taşlı yollarında, kopmalara, kayıplara uğramadan direkt çekebilir. en azından neyi nerde bulacağını bilir.

Bizim bu yukardaki bilgiler de mühimmat gibi bişey tehlikeli madde taşıyoruz google'ın saklamaya çalıştığı ticari gerçekleri... Biri alır bunla atom bombası yapar bilemem, ya da o forum bu forum gezer neden google bana gelmiyor indekslenmiyorum derdi ne bunun der der durur.

Yıldırım eklembacaklısının önüne yem atın. Biliyorsunuz onun görevi ç-alıntı yapılacak siteler sayfalar ve taze içerik bulmaktı. Örneğin ana sayfanızda bir bağlantı oluşturun (ona bi kanal açın) o bağlantının bir ucunda site haritanız olsun. Yıldırım gelince o linki ve içindeki o tazecik bağlantıları görüp kamyoncu bota bildirmek isteyecektir.

Buradaki bilgi kısmen olaya yeni başlayanları anlaması için düzenlendi.

Orijinal webmastersitesi yazısı alıntılar da Webmaster Sitesi'ne mutlaka link veriniz.

teşekküreler w-s bunu bizlerle paylaştığın için.

çok faydalı bir paylaşım teşekkürler ws

elien saglik güzel paylasimd evamini bekleriz

saol güzel paylaşım......

Hep şu uzun makaleler yüzünden seo dan muaf kaldım ya. Emeğine sağlık...

tekara diyorum güzel paylaşım diye ama bir sorum olacak sadece bu kodumu robot.txt yazıp gönderiyoruz ftp ye (bu kod bütün arama botlarının girmesini ve zarar vermemesini sağlıyor demi)

mantıklı ve güzel

Evet tüm botlar dışarı demek.
Bu kod sadece robots.txt ye saygı duyan botları keser genelde de buna uması beklenir bir arama motorundan.

teşekkürler güzel bilgiler