İnternette iki tür arama motoru vardır. Bunlar dizinler ve crawlerlardır. Arama motoru
kelimesi crawlerları ve dizinleri tanımlamak için kullanılır ancak bu ikisi tamamen farklı
yöntemlerle çalışır. Crawlerlar internetteki siteleri tarar ve indexler. Eğer sitelerin içeriği
değiştirilirse bu listedeki durumunuzu etkiler. Çünkü crawlerlar sayfaların tümünü
hafızalarına alır ve bir aramada sayfada geçen tüm kelimeler arasından arar. Sitelerde yapılan
değişiklikleri de ilk güncellemesinde hemen yeniler. Başlıklar, sayfanın içeriği ve diğer tüm
etkenler sonuçta etkilidir. Dizinler ise insanlar tarafından yönetilir. Siteleri kaydederken bir
başlık ve bir açıklama yazılır ya da editörler bir açıklama yazar ve sonuçlarda bu iki etken
etkili olur. Sayfalarda yapılan değişiklikler sonuçları etkilemez. Hybrid olarak adlandırılan
arama motorları ise her iki türden de sonuç getirir ve genellikle bir tarafı ki bu taraf
genellikle dizinler olur, diğerinden daha üstün tutar.
Crawlerlar
Bu tip arama motorları siteleri otomatik olarak ziyaret eder ve hemen hemen tüm
sayfaları hafızalarına alır. Bunun için de bir çeşit robot kullanır. Bu robotlar siteleri bir
sayfayı ziyaret ettikten sonra o sayfada bulunan tüm linkleri de ziyaret eder. Mesela ana
sayfayı ziyaret ederlerse ve buradan bütün sayfalara link verilmişse oraları da dolaşacak
demektir. Ayrıca site dışında bir siteye link verilmiş ise orayı da ziyaret edecektir ve eğer bu
site listelerinde yoksa onu da ekleyeceklerdir. Çünkü birçok crawler manuel(elle) site ekleme
özelliği bulundurmaz ve kendi robotlarının siteleri eklemesini tercih eder.
Crawlerların Bölümleri
Spider:
Crawler olarak da adlandırılır. Spider siteyi ziyaret eder, okur ve daha
sonra linkleri takip ederek diğer sayfalara ulaşır. Spider siteyi bir ay ya da iki
ay arayla düzenli olarak tekrar ziyaret eder.
Index:
Spider’ın bulduğu her şey arama motorunun index’ine gider. Index’te
spiderın bulduğu tüm sayfaların bir kopyası depolanır ve spider sayfaları tekrar
ziyaret edip güncel hallerini getirdiğinde index’de yenilenir.
Yazılım:
on parça olan arama motoru yazılımı ise index’de depolanan
milyonlarca sayfa arasından uygun sonuçları bulur ve en uygun olanlara göre
sıralandırma yaparak sonuçları getirir.
Bütün crawlerlarda bu parçalar vardır ama bu parçaların her birinin işlevi her arama
motorunda değişiktir. Bu yüzdendir ki aynı arama farklı arama motorlarında değişik sonuçlar
ortaya çıkarır.
Crawlerların Özellikleri
Derin araştırma:
Arama motorlarının indexlerine kaydetme başvurusu
yapmamasına rağmen siteleri bulması anlamına gelir. Hemen hemen tüm
crawlerlarda bu özellik vardır ama bazıları bu konuda daha iyidir.
Stop kelimeleri:
How, and, what gibi genel kullanımı olan kelimeler birçok
crawler tarafından yer kazanılması ve aramanın hızlandırılması için
indekslenmez ya da arama içinde geçmesine izin verilmez.
Description:
Meta tag’lar arasında bulunan açıklama kısmının kullanılması
anlamına gelir.
Keywords:
Meta tag’lar arasında bulunan keywords tagınin desteklenip
desteklenmediğidir.
Alt Text:
Grafikler altına yazılan ve mouse ile üstüne gelindiğinde ortaya çıkan
yazılardır.
Dizinler
İnsanlar tarafından kontrol edilen arama motorlarıdır. Güvenilir olarak
görüldüklerinden birçok insan bunları ziyaret eder. Ayrıca bunlara kayıt olmak crawlerların
siteleri bulmasını kolaylaştırır. Bunlardan bazıları da crawlerlara dizin hizmeti verirler.
Dizinlere kayıt olmada siteler 25 kelimeyi geçmeyecek bir açıklamada bulunurlar. Çünkü
dizinler crawlerlar gibi siteleri tüm içeriğini değil sadece yazılan açıklamayı ve sitelerin
başlığını görüntüler ve arama sonuçlarını da bu verilere dayanarak getirirler.
0 Yanıt
4310 Gösterim