Tarayıcı için nedir? paletli aracı "Yandex" ve Google

Internet üzerinde her gün bir web sitesi eski web sayfaları güncellenmiş oluşturmak fotoğraf ve video yüklemek için yeni malzemelerin büyük miktarda vardır. arama motorlarından gizli olmadan, World Wide Web içinde bu belgelerin hiçbiri bulunamadı. Herhangi bir zamanda robotik programlar gibi alternatifler mevcut değil. Bir arama robotu nasıl işletmek için ve neden ihtiyaç nedir?

Bir arama robotu nedir

Paletli sitesi (arama motoru) - bu hızlı bir operatör müdahalesi olmadan internet gezinmek, milyonlarca web sayfasını ziyaret edebilir otomatik bir programdır. Botlar sürekli tarama alanı olan World Wide Web, yeni web sayfaları bulma ve düzenli zaten endeksli ziyaret. web tarayıcılarının örümcekler, tarayıcılar botlar için diğer isimler.

Neden arama motoru örümceklerinin vardır

endeksli web sayfaları, yanı sıra metin, resim, ses ve üzerlerinde olan video dosyalarını - Arama motoru örümcekleri gerçekleştirmek ana fonksiyonları. Botlar referanslar, ayna siteleri (kopya) ve güncellemelerini kontrol edin. robotlar da World Wide Web için teknolojik standartlarını geliştirir ve uygular Dünya Örgütü, uygunluğu standartları için HTML kodu kontrolünü gerçekleştirin.

Ne indeksleme olduğunu ve neden gereklidir

Dizin - aslında, arama motorları tarafından belirli bir web sayfasını ziyaret işlemidir edilir. Program bu sitede metni tarar, resimler, videolar, giden bağlantıları, sonra sayfa arama sonuçlarında görünür. Bazı durumlarda, site o zaman elle web yöneticisi arama motoruna eklenebilir, otomatik olarak taranır edilemez. Genellikle, bu yokluğunda meydana dış bağlantıların belirli bir (genellikle sadece son zamanlarda oluşturulan) sayfasına.

arama motoru örümcekleri nasıl

Her arama motoru benzer bir programda, "Yandex" veya diğer sistemlerde çalışır mekanizmasına göre önemli ölçüde değişebilir Google arama robotu ile kendi bot vardır.

Program yerinde "geliyor" ve ana sayfasından dış bağlantılar, (kullanıcıyı görmez olanlar seyir yükü dahil) Web kaynağının "okur": Genel olarak, bir robot çalışma prensibi şu şekildedir. Tekne bir sitenin sayfaları arasında gezinmek ve diğerleri geçmek için nasıl.

Program endeksine hangi siteyi seçecek? Çoğu zaman örümcek büyük referans ağırlığı haber siteleri ya da büyük kaynak dizinleri ve toplayıcılar ile başlar "çelme". Paletli sürekli oranı ve aşağıdaki faktörleri indeksleme tutarlılığına sayfaları teker teker tarar:

• İç: perelinovka, site boyutta, doğru kod, böylece kullanıcı dostu ve (aynı kaynağın sayfaları arasında iç bağlantılar);
• Dış: siteye yönlendiriyorsa toplam referans ağırlığı,.

Ilk şey robots.txt tarafından herhangi bir web sitesinde arama robotu arar. Daha kaynak dizin bilgisi bu belgeden olduğu alınan dayanarak yapılır. Bu dosya "Yandex" veya Google erken bir isabet site ulaşmak için, sonuç olarak, arama motorları tarafından sayfa ziyaretlerinin şansını artırmak ve olabilir "örümcek" için özel talimatlar içerir.

Program tarayıcılarının analogları

Genellikle dönem "arama robotu" akıllı, kullanıcı veya özerk ajanlar, "karıncalar" veya "solucanlar" ile karıştırılmaktadır. Sadece ajanlarla karşılaştırıldığında Batırma önemli farklılıklar, diğer tanımlamalar robotların benzer tipleri ile ilgilidir.

Örneğin, etken maddeler şunlar olabilir:

• entelektüel: siteden siteye taşınır program, bağımsız devam etmek için nasıl karar vermek; İnternet üzerinde çok yaygın değildir;
• . Özerk: Bu ajanlar bir ürünün, arama seçerek veya formlar, ağ programlarına biraz ilişkilidir sözde filtreler, doldurarak kullanıcıya yardımcı;
• kullanıcı: Program, World Wide Web ile kullanıcı etkileşimi için bir tarayıcı katkıda (örneğin, Opera, IE, Google Chrome, Firefox), haberciler (Viber, Telgraf) veya e-posta programları (MS Outlook ve Qualcomm).

"Karıncalar" ve "solucanlar" arama motoru "örümcek" daha benzerdir. bir ağ ve tutarlı arasındaki ilk form, bu karınca kolonisine gibi etkileşim "solucan" standart paletli aynı başka açılardan replike edebilmektedir.

Arama motoru robotları çeşitliliği

tarayıcılarının çok çeşitli ayırt. Programın amacına bağlı olarak, onlar:

• "Ayna" - çoğaltır web sitelerine göz.
• Mobil - web sayfalarının mobil sürümleri odaklanın.
• Hızlı - en son güncellemeleri görüntüleyerek hızlı bir şekilde yeni bilgiler düzeltin.
• Referans - Referans endeks, sayılarını sayar.
• Dizinleyiciler içeriğin farklı türleri - metin, ses, video, görüntü için özel programlar.
• "Casus" - henüz arama motoru görüntülenmeyen sayfaları arıyor.
• "Ağaçkakan" - periyodik alaka ve verimliliğini kontrol etmek sitelerini ziyaret eder.
• Ulusal - ülke alan adları biri üzerinde bulunan Web kaynaklarını gezen (örneğin .mobi veya .kz .ua).
• Global - endeksi tüm ulusal siteler.

Robotlar büyük arama motorları

Bazı arama motorları da vardır. Teorik olarak, onların işlevselliği ölçüde değişebilir, ama pratikte programlar hemen hemen aynı. web sayfalarını indeksleme temel farklar şöyle iki büyük arama motorları robotları:

• test sıkılık. Bu inanılır bir paletli mekanizması "Yandex" biraz daha katı tahminleri World Wide Web standartlarına uyum için bir site.
• Sitenin bütünlüğünün korunması. Google tarayıcısı indeksleri (medya içeriği dahil) bütün sitesi, "Yandex" da seçici içeriğini görüntüleyebilir.
• Hız testi yeni sayfalar. Google iki hafta veya daha uzun sürebilir "Yandex tarafından" sürecin durumunda, birkaç gün içinde arama sonuçlarında yeni bir kaynak ekler.
• yeniden endeksleme sıklığı. haftada iki kez güncellemeleri kontrol "Yandex" Paletli ve Google - tek her 14 günde.

İnternet, tabii ki, iki arama motorları ile sınırlı değildir. Diğer arama motorları kendi indeksleme parametrelerini izleyin onların robot var. Buna ek olarak, değil büyük arama kaynaklarını tasarlanan çeşitli "örümcek" ve bireysel takımlar veya yöneticileri vardır.

yaygın yanlış

Aksine kanının, "örümcekler" bilgiyi işlemek yoktur. Program sadece tarar ve web sayfalarının saklandığı ve daha fazla işlem tamamen farklı robotlar sürer.

Ayrıca, birçok kullanıcı arama motoru örümceklerinin olumsuz etki ve "zararlı" internet var olduğuna inanıyoruz. Aslında, "örümcek" bazı sürümleri anlamlı sunucuyu aşırı yüklenmeye neden olabilir. Robot yapılandırmasında hata yapabilir programı, oluşturulan webmaster, - bir insan faktörü de vardır. Oysa mevcut programların en iyi tasarlanmış ve profesyonelce yönetilen ve herhangi çıkan sorunlar derhal kaldırılır.

Nasıl indeksleme yönetmek için

Arama motoru robotları otomatik programlar vardır, ancak indeksleme işlemi kısmen webmaster tarafından kontrol edilebilir. Bu, büyük ölçüde dış ve yardımcı iç optimizasyon kaynağın. Buna ek olarak, elle arama motoruna yeni bir site ekleyebilirsiniz: Büyük kaynaklar Web sayfaları Kayıt özel formu var.