Robots.txt itaat yanında itaat nofollowve noindexiçinde <meta>element ve bağlantıları:
Robots.txt dosyasının endekslemeyi engellemenin uygun bir yolu olmadığına inanan birçok insan var ve bu bakış açısı nedeniyle, birçok site sahibine <meta name="robots" content="noindex">web tarayıcılarına bir sayfayı indekslememelerini bildirmek için etikete güvenmeleri talimatını verdi.
Eğer web siteleri arasında bağlantıların grafiğini (PageRank benzer bir şey) yapmak için çalışıyorsanız, <meta name="robots" content="nofollow">) burayı düzgün bir onay verecek kadar hedef siteyi güvenmediği kaynak site göstermek gerekiyordu. Bu nedenle, hedef siteyi dizine ekleyebilirken, iki site arasındaki ilişkiyi saklamamanız gerekir.
SEO, gerçek bir bilimden çok bir sanattır ve ne yaptıklarını bilen birçok insan ve ne yaptıklarını bilenlerin yönetici özetlerini okuyan birçok insan tarafından uygulanmaktadır. Bazıları, SEOmoz'daki bir blog yazısında okuduğu veya okuduğu veya doğru şekilde yorumlanamayan bazı kurallar nedeniyle, diğer sitelerin tamamen kabul edilebilir bulduğu şeyleri yapmak için sitelerden engelleneceğiniz sorunlarla karşılaşacaksınız.
Bu insan unsuru nedeniyle, siz Google, Microsoft veya Yahoo! olmadıkça, aksi ispatlanmadıkça kötü niyetli olduğunuz kabul edilir. Bir web sitesi sahibini tehdit etmiyormuşsunuz gibi davranmak ve potansiyel olarak kötü niyetli (ancak umarım iyi niyetli) bir tarayıcının nasıl davranmasını istediğinizi uyarınca davranmanız gerekir:
- engellendiğinizi tespit ettikten sonra bir siteyi taramayı durdurun: iş, kısma, zaman aşımı, vb. bildiğiniz sayfalarda 403 / 401s.
- görece kısa sürelerde ayrıntılı taramalardan kaçının: sitenin bir bölümünü tarayın ve başka bir kısmı taramak için daha sonra tekrar (birkaç gün sonra) tekrar gelin. Paralel isteklerde bulunmayın.
- Potansiyel olarak hassas bölgeleri taramaktan kaçının:
/admin/örneğin içinde bulundukları URL'ler .
O zaman bile, UA sahtekarlığı ya da tarama desenlerinizi bilerek maskeleme gibi siyah şapka tekniklerine başvurmadığınız sürece bir tepe-tepe savaşı olacak: pek çok site sahibi, aynı sebeplerden dolayı, bilinmeyen bir tarayıcıyı almak yerine görmeyi engeller. "kendi sitelerini kırmaya" çalışmayan birinin bulunma olasılığı Çok fazla başarısızlık için hazırlanın.
Bilinmeyen bir tarayıcının sahip olacağı negatif görüntüyle mücadele etmek için yapabileceğiniz şeylerden biri, kullanıcı aracısı dizenizde kim olduğunuzu netleştirmektir:
Aarobot Crawler 0.9 created by John Doe. See http://example.com/aarobot.html for more information.
Nerede http://example.com/aarobot.htmltamamlamaya çalıştığınız ve neden bir tehdit değiliz şeyi açıklıyor. Bu sayfada birkaç şey olmalı:
- Doğrudan sizinle nasıl iletişime geçeceğinize dair bilgiler
- Tarayıcının ne topladığı ve neden topladığı hakkında bilgi
- Çıkma ve toplanan verilerin silinmesine ilişkin bilgiler
Sonuncusu anahtardır: iyi bir seçim, Para İadesi Garantisi ™ gibidir ve makul olmayan bir iyi niyet puanı verir. İnsancıl olmalı: basit bir adım (bir e-posta adresi veya ideal olarak bir form) ve kapsamlı (herhangi bir "gotchas olmamalı:: vazgeçme istisnasız sürünmeyi bırakman anlamına gelir).