Boş Kullanıcı-aracının yorumu

13

Boş bir User-agent'ı nasıl yorumlamalıyım? Bazı özel analitik kodlarım var ve bu kod sadece insan trafiğini analiz etmek zorunda. İnsan trafiğini ve bot trafiğini belirten Kullanıcı aracılarının çalışma listesine sahibim, ancak boş Kullanıcı aracısı sorunlu olduğunu kanıtlıyor. Boş Kullanıcı aracısıyla yaklaşık% 10 oranında çok trafik alıyorum.

Ayrıca, geçerli günlüklerimi analiz ederek insan trafiğine karşı bot trafiği kullanıcı aracısı listesini hazırladım. Bu nedenle orada çok fazla giriş eksik olabilir. Bot trafiğini gösteren bakımlı kullanıcı aracıları listesi mi yoksa tersi, insan trafiğini gösteren kullanıcı aracıları listesi var mı?

— Amit Agrawal
kaynak

1

Olası kullanıcı aracılarının listesi inanılmaz derecede uzundur. Örneğin, yalnızca mobil cihazlara yönelik kullanıcı aracılarının listesine bakın: zytrax.com/tech/web/mobile_ids.html

— Max Vernon

Boş kullanıcı aracısı oldukça nadirdir - hangi sunucu yazılımını kullanıyorsunuz? Kullanıcı aracısını nasıl alıyorsunuz? Gerçekten boş olduğundan emin misiniz, yoksa toplama sisteminizde boş kullanıcı aracıları oluşturan bazı hatalar var mı?

— Max Vernon

@Max - Boş kullanıcı aracısına kendim şaşırdım. LAMP yığını kullanıyorum. Kullanıcı aracısını PHP aracılığıyla $ _SERVER ['HTTP_USER_AGENT'] olarak topluyorum. Kod basit; Tamamen orada olma kullanıcı aracısı olasılığını indirim olamaz ama kodumu toplamak için başarısız veya veritabanını saklamak reddediyor olsa da, ben böyle olduğundan şüphe.

1

Apache'nin erişim günlüklerine erişiminiz varsa: Kayıtlı kullanıcı aracıları da boş mu?

sitenize erişen bir kazıyıcı olabilir mi? Ziyaretçilerin hiçbir USER_AGENT var görünüyor Bu bir yol olabilir

— Max Vernon

5

Sadece "insan trafiğini" analiz etmek istiyorsanız, boş veya eksik kullanıcı aracısı dizesi olanları saymazdım. Deneyimlerime göre hemen hemen her tarayıcı her zaman bir tane gönderir. Çoğu gizlilik eklentisi veya uzantısı bile sahte (diğer işletim sistemi veya istemci adını içerir) veya "normalleştir" (örneğin sürüm numaraları yok) veya UA dizelerini rastgele (örneğin bazen FF, bazen IE dizeleri), ancak tamamen kaldırmayabilir (bu iyi bir fikir olmasa bile, bazı sitelere güvenen sorunlara neden olabilir.)

UA olmadan basit bir istek şu şekilde yapılabilir:

wget --user-agent="" www.example.com

Gördüğünüz gibi istediğiniz her şeyi ekleyebilirsiniz. "Vahşi doğada" bulunan UA'ları depolayan ve yayınlayan siteler, çok fazla bok buldukları için çok yararlı değildir.

Belki birileri içeriğinizi tekrar tekrar getirmiştir. Veya sitenizi analiz etmek için bazı SEO araçları kullandı (bazıları kullanıcıların başlığı manuel olarak değiştirmesine izin verirken, diğerleri bir robots.txt satırını yoksaymak niyetiyle). Bunun gibi şeyler. Bu durumlarda UA başlığı genellikle müşteriyi ve amacı gizlemek için sahte olur.

Bu talepler sürekli devam ederse, başlıkları (Proxy'ler?) Veya IP'leri (Belirli bir blok? Gizlilikle ilgili şirket / Proxy?) Daha ayrıntılı analiz etmek yararlı olabilir.

— initall
kaynak

2

Bir güvenlik şirketinde çalışıyorum ve diğer şeylerin yanı sıra Bad Bot trafiğini izliyoruz.

Deneyimlerime dayanarak, kullanıcıların boş kullanıcı aracısı verileriyle yaptığı ziyaretler, "başsız tarayıcı" botları tarafından yapılan kazıma / spam girişimlerini (genellikle kazıma) gösterir.

Bu ziyaretçiler bazen JS'yi yürütebilirler ve böylece GA'da görünürler - yine de bu doz onları insan yapmaz :)

"Fiş" için özür dileriz, ancak gerekirse CDN hızlandırma ve diğer güzelliklerle birlikte ücretsiz Bad Bot koruma hizmetleri sunduğumuzu lütfen unutmayın.

Bu özel durumda, sistemimiz bu ziyareti "şüpheli" olarak tanıyacak, bilinen saldırı vektörlerine karşı doğrulayacak ve - hala emin değilseniz - daha fazla test ve zorluklar gerçekleştirecektir. Bu zorluklar, oturumda herhangi bir gecikmeye neden olmadan sorunsuz bir şekilde gerçekleştirilir.

— Igal Zeifman
kaynak

0

İnternete erişen her bit yazılımına sihirli olarak bir kullanıcı aracısı verilmez. Yazılım geliştiricileri bu işlevselliği yazılımlarına programlamak zorundadır. Boş kullanıcı aracınız, bir yazılım geliştiricisinin yazılımlarına bir kullanıcı aracısı eklemeyi unuttuğu anlamına gelir.

Veya bir tarayıcı kullanıcısının UA dizesini kaldırdığını / engellediğini.

— ya da

5

Bu yanlış. "Sadece" demek, genellikle ya da en azından çoğunlukla bunun sebebi anlamına gelir. Çok az insan, geliştiricisi UA'yı tembellikten atlayacak http yazılımını kullanıyor. Neredeyse her zaman trafik kaynağının tanımlanmasını istemediği ve kötü amaçlı veya sömürücü trafikle derinden ilişkili olduğu belirtiliyorsa. Ne yazık ki bazı büyük şirketler (Facebook) geçmişte boş kullanıcı aracısı dizeleri kullanmışlardır, bu yüzden onları tamamen engellemek akıllıca değildir.

— jerclarke

1

@jeremyclarke +1 Bu tür davranışlar asla göz ardı edilmemelidir! Ve Facebook'ta utanç! Meşru bir bot veya tarayıcının bir siteye bakması gerekiyorsa, her zaman bir tanımlayıcıya sahip olmalıdır. Sonuçta, bir başkasının mülküne giriyorlar. Hiçbir kullanıcı aracısı olmaması, kimliklerini gizlemek için maske takan bir hırsız gibidir.

— beyazsakal

2

Sanki yüzleri evinizin önündeki yaya geçidinde ileri geri yürürken. Mutlaka yasadışı değil, ancak kapıya cevap vermezseniz, paranoyak bir fındık olduğunuzu varsaymamalısınız.

— jerclarke

0

Bu sorunun yanıtlarında Kullanıcı-Aracıyı kimliğinizi gizlemek veya insan olmakla karşılaştıran birkaç yorum görüyorum. Bu saçma bir karşılaştırma. User-Agent'ın kimlik veya insan olmakla hiçbir ilgisi yoktur.

Ayakkabı gibi düşün. Ziyaretçilerinize, içeri girmelerine izin vermeden önce ne tür ayakkabı giydiklerini soruyorsunuz. Bunun en yaygın kullanım alanları, hangi halı türünü yuvarlamanız gerektiğini, temiz elbise ayakkabıları için güzel kırmızı halıyı, çamurlu için çirkin paspasları bilmektir. çizmeler ve alerjik halı ziyaretçiler için halı yok.

Ziyaretçiler hangi ayakkabılara sahip olduklarını söylemek istemediklerinde (diğer adıyla boş Kullanıcı-Aracı) onları görmezden gelirsiniz.

Evet, Kullanıcı Aracısı ve diğer istek başlığı bilgilerine dayalı olarak web isteği hakkında bazı şeyler üstlenmeye çalışan birçok iyi uygulama vardır. Zamanın% 99'unda harika çalışabilirler, ancak diğer birçok benzer uygulamada olduğu gibi, yanlış pozitif eğilimli olurlar ve böylece normal cahil kullanıcılara zarar verirler.

Yanlışlıkla boş bir User-Agent kullanma sorunuyla karşılaştıktan sonra, bir web servisinin size farklı bir şekilde davrandığında eğlenceli olmadığını söyleyebilirim, çünkü ayakkabılarınızdan bahsetmeyi düşünmediniz.

— Deantwo
kaynak