Robotların sayfanın belirli bir bölümünü taramasını önleme

Forumu olan küçük bir siteden sorumlu bir web yöneticisi olarak, kullanıcılardan düzenli olarak hem dahili arama motorunun hem de harici aramaların (Google kullanırken olduğu gibi) kullanıcılarımın imzaları tarafından tamamen kirlendiğinden şikayet ediyorlar (uzun kullanıyorlar. imzalar ve bu forumun deneyiminin bir parçası çünkü imzalar forumumda çok anlamlı.

Yani temelde şu an itibariyle iki seçenek görüyorum:

1. İmzayı resim olarak oluşturma ve bir kullanıcı "imza resmini" tıkladığında, gerçek imzayı içeren bir sayfaya (imzanın içindeki bağlantılar vb.) Alınır ve bu sayfa arama tarafından taranamaz olarak ayarlanır motor örümcekleri). Bu, biraz bant genişliği tüketir ve biraz çalışmaya ihtiyaç duyar (çünkü resmi üreten bir HTML oluşturucusuna ihtiyacım var vs.) ancak açık bir şekilde sorunu çözerdi (imzanın yazı tipine / renk düzenine saygı göstermeyeceği konusunda ufak tefek şeyler var. Kullanıcılar, ancak benim kullanıcılar, yine de, özel yazı tipleri / renkler / boyut vb. kullanarak imzaları ile çok yaratıcılar.

2. Web sayfasının imza içeren her bölümünü taranamayan olarak işaretleme.

Ancak sonradan emin değilim: Bu yapılabilecek bir şey mi? Bir web sayfasının belirli bölümlerini taranamayan olarak işaretleyebilir misiniz?

İşte Stack Overflow'ta google için noindex etiketine verdiğim cevap :

Google’ın sayfanın bölümlerini görmesini engelleyebilirsiniz; bu kısımları robots.txt tarafından engellenen iframe'lere yerleştirin.

robots.txt

Disallow: /iframes/

index.html

This text is crawlable, but now you'll see 
text that search engines can't see:
<iframe src="/iframes/hidden.html" width="100%" height=300 scrolling=no>

/iframes/hidden.html

Search engines cannot see this text.

İframe kullanmak yerine, AJAX kullanarak gizli dosyanın içeriğini yükleyebilirsiniz. İşte bunu yapmak için jquery ajax kullanan bir örnek:

his text is crawlable, but now you'll see 
text that search engines can't see:
<div id="hidden"></div>
<script>
    $.get(
        "/iframes/hidden.html",
        function(data){$('#hidden').html(data)},
    );
</script>

Başka bir çözüm, sig'ı stil ayarlı bir yayılma alanına veya div'ye sarmak display:noneve sonra onu almak için Javascript kullanmaktır; böylece metin Javascript açık olan tarayıcılar için görüntülenir. Arama motorları, gösterilmeyeceğini biliyor bu yüzden dizine eklememelisiniz.

Bu HTML, CSS ve javascript bitinin yapması gerekenler:

HTML:

<span class="sig">signature goes here</span>

CSS:

.sig {
display:none;
}

javascript:

<script type="text/javascript"> 
$(document).ready(function()
  {
      $(".sig").show();
  }
</script>

Bir jquery kütüphanesi eklemeniz gerekir .

Ben de benzer bir problem yaşadım, css ile çözdüm ama javascript ve jquery ile de yapılabilir.

1 - " disallowed-for-crawlers" olarak adlandıracağım bir sınıf oluşturdum ve o sınıfı Google botunun görmesini istemediğim her şeye ya da o sınıfla bir yayılma alanına yerleştirdim.

2 - Sayfanın ana CSS'sinde gibi bir şey olacak

.disallowed-for-crawlers {
    display:none;
}

3- disallow.css adlı bir CSS dosyası oluşturun ve bu dosyaların taranmasına izin verilmeyen robots.txt dosyasına ekleyin, böylece tarayıcılar bu dosyaya erişemez, ancak ana css'den sonra sayfanıza referans olarak ekler.

4- disallow.csskodunu girdim:

.disallowed-for-crawlers {
    display:block !important;
}

Javascript veya css ile oynayabilirsiniz. Sadece izin verme ve css sınıflarından yararlandım. :) Birisi yardımcı olur umarım.

Bunu yapmanın bir yolu, düz metin yerine bir metin görüntüsünü kullanmaktır .

Google’ın, görüntüdeki metni okuyacak kadar akıllı olması muhtemeldir, bu nedenle geleceğe yönelik bir kanıt olmayabilir, ancak en azından bir süre daha iyi çalışması gerekir.

Bu yaklaşımın bir sürü dezavantajı var. Bir insan görme engelli ise, kötüdür. İçeriğinizin masaüstü bilgisayarlara karşı mobil cihazlara uyum sağlamasını istiyorsanız, bu kötüdür. (ve bunun gibi)

Ancak şu anda (biraz) çalışan bir yöntemdir.

Bu kolay.

Sayfanızı sunmadan önce bir botta, bilgisayarda mı yoksa telefonda mı olduğunu bilmeniz gerekir. Daha sonra içeriği buna göre ayarlamanız gerekir. Bu, günümüzde standart bir uygulamadır ve bazı CMS'lerin yaş ve temel işlevleri.

SE'de, htaccess'inize yerleştirilebilecek USER AJAN'a dayalı yeniden yönlendirme yapmak için birçok çözüm vardır. Bu, forum yazılımınıza uygunsa, Google’ın ihtiyaç duymadan ve kırpmadan istediklerini sunmak için aynı DB’den farklı bir kod çalıştırabilirsiniz.

Alternatif olarak, 'eğer USER AGENT == Googlebot sonra imza göstermiyorsa' yazan PHP kodunuza küçük bir satır koyabilirsiniz.

Bunu gerçekten yapamazsanız, bot_a hizmet etmek için mod_proxy alabilirsiniz ve php kodunuzun botun görmesi gerekmeyeceği bir şey çıkarması için kullanabilirsiniz.

Teknik olarak Google, arama motorlarının normal site ziyaretçisinin gördüklerinden farklı bir sayfa gösterildiğini onaylamaz, ancak bugüne kadar BBC’yi ve tarayıcı / IP / ziyaretçiye özel içeriği arama motoru sonuçlarından temin eden diğerlerini almadılar. . Ayrıca botlarının 'bağlanmış olup olmadığını' görmek için sınırlı imkânları var.

Bir komut dosyası tarafından yeniden etkinleştirilebilmesi için içeriği CSS ile gizleme alternatif çözümü de biraz gri bir alandır. 20/6 / 11'deki kendi Web Yöneticisi Araçları kurallarına göre bu iyi bir fikir değildir:

http://www.google.com/support/webmasters/bin/answer.py?answer=66353

Bu taş dökülmüş bir tablet olmayabilir, ancak güncel ve Google tarafından hazırlanmıştır.

İçerik gizlemesini gizlemek, javascript'e sahip olmayan kişilerin azınlığı ile çalışmayacak, bu çok büyük bir endişe kaynağı olmayabilir, ancak belgenin yüklenmesini beklemek ve sonra imzaları göstermek sizin gibi tatmin edici bir görüntüleme deneyimi olmayacak sayfanın yüklendiğini düşünün, ardından gizli imzalar göründüğü gibi atlayarak içeriği aşağıya doğru itin. Bu tür bir sayfa yükleme işlemi, düşük netlikte bir ağ bağlantınız varsa tahriş edici olabilir, ancak hızlı bir internet bağlantısına sahip hızlı bir geliştirici makineniz varsa fark edilmeyebilir.

Hayır, robotların sayfa parçalarını taramasını engellemenin yolu yoktur. Tüm sayfa ya da hiçbir şey.

Google’ın arama sonuçlarındaki snippet'ler genellikle sayfadaki meta açıklamadan alınır . Böylece Google’ı meta açıklama etiketine koyarak sayfanın belirli bir bölümünü göstermesini sağlayabilirsiniz. Kullanıcı tarafından oluşturulan içerikle iyi snippet'ler elde etmek zor, ancak iş parçacığının ilk bölümünü almak muhtemelen işe yarayacaktı.

Düşünebilmemin tek yolu Javascript kullanmak. Paulmorriss gibi bir şey önerdi mayıs işi, ama arama motorları endeksi HTML eğer içerik hala olur düşünüyorum. HTML'den kaldırabilir, Javascript dizesinde saklayabilir, ardından sayfa yüküne geri ekleyebilirsiniz. Yine de bu biraz karmaşıklaşıyor.

Son olarak, akılda tutulması gereken bir şey: Google, kullanıcının snippet'lerinde imzalarını gösteriyorsa, kullanıcının sorgusuyla en alakalı bölüm olduğuna karar vermiştir.

Sayfayı bir PHP'ye "if" yazıyorsa, if bölümü için anahtar veren bir captcha'ya yol açabilirsiniz.

Gerçekten umrumda değil çünkü kullanıcı kimlik bilgisi sayfamda uyuşmuyorsa boş bir sayfa alıyor veya giriş sayfasına gönderiliyor.

<?php
session_start();

if(empty($_SESSION['captcha']) or $_SESSION['captcha'] != $key){
    header("Location: captcha.php");
}

if(!empty($_SESSION['captcha']) and $_SESSION['captcha'] == $key){

"the page"

}
?>

$key mevcut günün bir karması veya değişen bir şey olmalıdır, bu nedenle oturuma değer eklemek yeterli değildir.

Şu anda üzerimde olmadığı için örnek bir captcha eklememi istiyorsan yorum yaz.

Görünüşe göre, <! - googleoff: hepsi -> ve <! - googleon: hepsi -> istediğini yap.

Daha fazla bilgi edinin https://www.google.com/support/enterprise/static/gsa/docs/admin/70/gsa_doc_set/admin_crawl/preparing.html#1076243

https://perishablepress.com/tell-google-to-not-index-certain-parts-of-your-page/