Botları görüntüleme sayılarından hariç tutmanın en iyi yolu nedir?

Web sitem belirli sayfalardaki ziyaretçi görüntülemelerini sayıyor. Google ve diğer Botların sitemi çılgın gibi "tıkladığını" ve bazı sayfaların gerçekçi olmayan görüntüleme sayıları aldığını fark ettim (insanlar tarafından üretilenlere kıyasla).

Bu botları görüş sayımımın dışında tutmak için en iyi uygulamaları istiyorum. Açıkçası basit bir "kullanıcı aracısı" içerir "bot" yapmaz.

Ben bir kurşun kanıtlama çözümü olduğunu sanmıyorum ne de ihtiyacım var.

Not: PHP + MySQL kullanıyorum.

Bunu başarmak için kurşun geçirmez bir yol olmayacağını bildiğinize sevindim. Bu, görünümünüzün en azından gerçekçi olduğu anlamına gelir.

JavaScript bir seçenek olmadığından, size bırakıldığını söyleyebilirim:

• İçinde "bot" kelimesi için kullanıcı aracısına bakın. Bu onların çoğunu yakalayacak.

• Bilinen botların bir listesini derleyin ve bir tür benzersiz tanımlayıcıya, muhtemelen kullanıcı aracılarına göre filtreleyin.

• Web sitenizin altbilgisine, kullanıcı aracılarını ve / veya IP adreslerini toplayan bir sayfaya bağlantı veren gizli bir bağlantı yerleştirin. Kullanıcılar bunu görmez, ancak botlar görür. Yani bu sayfayı ziyaret eden herkes bot olacak. Onları kaydedin ve istatistiklerinizden engelleyin.

Oldukça basit üç yol var:

1. Sizin için tüm verileri işleyecek ve işleyecek Google Analytics'i kullanın ve ziyaretçiler ve sitenize nasıl ulaştıklarına ilişkin ayrıntılı istatistikler sağlayın. Bu açık ara en kolay çözümdür.
2. Sayımı yapmak için Javascript kullanın. Sayfa yüklendiğinde, sayma komut dosyanız için bir AJAX isteği oluşturun. Robotlar ve örümcekler Javascript çalıştırmaz.
3. Kullanıcı aracısı dizesindeki "bot" u algılamak aslında oldukça güvenilirdir. Alternatif olarak, yalnızca Googlebot, Yahoo, MSNbot vb. Gibi bilinen botlara sadık kalabilirsiniz. Bu üçünün kontrol edilmesi bot trafiğinizin% 99'unu kapsamalıdır. Bu sayfanın başkaları var, ancak oldukça eski görünüyor.

GÜNCELLEME: Googlebot ve bazı büyük botlar yok bugünlerde JavaScript çalıştırmasına. Bu nedenle # 2 seçeneğini tek başına kullanmak artık geçerli değildir. Bununla birlikte, bu, # 3 ile birlikte kullanmanın oldukça güvenilir olması gerektiği anlamına gelir, çünkü JS'yi kullanarak çoğu botu kolayca hariç tutabilir, daha sonra sunucu tarafında Googlebot gibi JS çalıştıran büyük botları hariç tutabilirsiniz.

Ayrıca yorumlarda belirtildiği gibi, her bir sayfanın görünümlerini görüntülemek için Google Analytics API'sını kullanmayı deneyebilirsiniz.

Görünümleri saymak için Javascript kullanırsanız, çoğu bot bunu çalıştırmaz ve görüntüleme sayılarınıza dahil edilmez. Bu cevap istediğiniz şeye yakın olabilir /programming/1973448/how-can-i-count-a-page-views

Benim yaklaşımım iki geçişi içeriyor:

1. Yalnızca kullanıcı aracısı dizesinin başlangıcıyla eşleştirerek yalnızca web tarayıcılarını ve konsolları filtreleyin Mozilla|Opera|PSP|Bunjalloo|wii. Kimlik sahtekarlığı yapan kullanıcı aracısı sayesinde bu kontrol hemen hemen tüm tarayıcıları algılar
2. Botları yaygın durdurma dizelerine göre hariç tutma bot|crawl|slurp|spider

Yani ilk adım geçilirse, bunun bir tarayıcı olduğunu ve arkasında gerçek bir ziyaretçi olduğunu varsayarız. Bazı botlar Mozillauyumlu gibi davranarak ve kullanıcı aracısı dizesini onunla başlatmış gibi öğrendim . Bu yüzden ikinci geçiş işe yarayabilir ve onları ortadan kaldırabilir.

function isBrowser () {

    return preg_match( '/^(Mozilla|Opera|PSP|Bunjalloo|wii)/i', $_SERVER['HTTP_USER_AGENT'] ) && !preg_match( '/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'] );
}

Dışlama ayrıştırmak için yalnızca basit kullanıcı aracısı kullanıyorum. Sayfalarıma giren botların% 99'undan kurtulur.

SELECT * FROM `live_visitors` where (
lower(agent) != '%bot%' and
lower(agent) != '%slurp%' and
lower(agent) != '%spider%' and
lower(agent) != '%crawl%' and
lower(agent) != '%archiver%' and
lower(agent) != '%facebook%')

Bir görüntüyü sayaç olarak kullanabilirsiniz, bu durumda botları saymaz ve sayfa adı resim adıyla sorgu olarak iletilir

Bu veritabanında sayfa görünümünü güncelleme img.php kullanıyorum:

<?php
$xnt = $_GET["ID"]; if (isset($xnt) && is_numeric($xnt)) {
$DBServer = "localhost"; $DBUser = "xxx"; $DBPass = "xxx"; $DBaze = "xxx";
$conn = mysqli_connect($DBServer, $DBUser, $DBPass, $DBaze); 
mysqli_query($conn, "UPDATE stats SET stats_vz=stats_vz+1 WHERE stats_id=".$xnt);
mysqli_close($conn);}
$im = @imagecreatetruecolor(1, 1); imagesavealpha($im, true); imagealphablending($im, false); $white = imagecolorallocatealpha($im, 255, 255, 255, 127); imagefill($im, 0, 0, $white);
header("Content-type: image/png"); imagepng($im); imagedestroy($im);