Bir şirket web sitemi tarama hakkına sahip mi?

30

McAfee SiteAdvisor'ın web sitemi "güvenlik sorunları yaşıyor" olarak bildirdiğini öğrendim .

McAfee web sitemde ne düşünüyorsa onu çok az umursuyorum (kendim güvenceye alabilirim ve olmasa da, McAfee kesinlikle yardım isteyeceğim şirket değil, çok teşekkür ederim). Yine de beni rahatsız eden şey, görünüşe göre, web sitemi iznim olmadan taradılar.

Netleştirmek için: Web sitemde neredeyse hiç içerik yok, sadece bazı yer tutucu ve kişisel kullanımım için bazı dosyalar var. ToS yok.

Sorularım: McAffee'nin web sitemden / crawl'den içerik indirme hakkı var mı? Onların yapmalarını yasaklayabilir miyim? Bir çeşit "Kalem, kurallarım" ilkesi olmalı, ancak tüm yasal şeyler hakkında hiçbir şey bilmiyorum.

Güncelleme: Muhtemelen sunucu sağlayıcımın SiteAdvisor'ın bulguları hakkında düzenli olarak bana e-posta gönderdiğini söylemeliydim - bu yüzden 'derecelendirmelerini' öğrendim ve bu yüzden sinirleniyorum.

web-crawler

— kralyk
kaynak

78

İnsanların web sitenizi görüntüleme hakkına sahip olduğunu söyleyebilir misiniz? Eğer öyleyse, neden insanların robot hizmetçilerine karşı ayrımcılık yapıyorsunuz? Değilse, neden ilk etapta bir web sitesi?

— Jwodder

47

SiteAdvisor'ın sitenizi işaretlediğini nasıl öğrendiniz? Görüntüleyebilir vermedi onların sitesi ya sen? Eğer öyleyse, sana ne verdi?

— Joe Sniderman

17

Bu arada, genellikle benzer raporları meşru gördüklerini görünce SiteAdvisor raporunu o kadar hafifçe reddetmem. En sık rastlanan durum, spam / phishing için kullanılan kötü amaçlı içerik ("trambolin" sayfaları, kötü amaçlı içerik barındırma) yerleştirmek için bazı otomatik komut dosyalarından yararlanan popüler CMS'nin (WordPress, Joomla, Drupal, ...) daha eski / yamalı sürümüne sahip olmaktır. aldatmaca e-postalar, tarayıcı açıkları, siz adlandırın); Bilmeden kötü şeyler barındırabilirsin. Ayrıca, birçok kullanıcı bu tür araçlara güvendiğinden, genellikle bu tür uyarılar kullanıcıları korkutabildiğinden temiz bir sicile sahip olmak istersiniz.

— Matteo Italia

35

Bir şeyin kilitlenmesini istiyorsanız, kilitleyin. Web sitesini hazırladınız ve sunucuyu GET isteklerine cevap verecek şekilde yapılandırdınız. Herkesi davet ettiniz - kelimenin tam anlamıyla, herkesi. Bu bir "zımni" hak değil, web sunucularının çalışması. Belirtildiği gibi, engelleme, robots.txt veya IP kısıtlamaları veya oturum açmış kullanıcılarla sınırlı içerik.

— mfinni

20

@RolazaroAzeveires: Otomatik süreçler tamamdır, çünkü insan ziyaretçilerin bunu ima etmesine izin vermezler, ama, saldırıları engelledikleri için kibarca sorarlar: "bu dosyaları alabilir miyim?" ve web sunucunuzu yanıtlayacak şekilde yapılandırdınız: "Tabii ki! İşte gidiyorsunuz. Başka bir şeye ihtiyacınız var mı?" Bu sizin izniniz olmadan sürünmiyor, izninizle sürünüyor.

— Marcks Thomas

49

Bunun için bir emsal var. Field v. Google Inc., 412 F. Ek. 2d 1106, (ABD Dist. Ct. Nevada 2006). Google, özellikle yazarın, web sitesinde bulunan meta etiketlerinde, Google’ın web sitesinin sahibinin dizine alınmasını istemediği sayfaları taramasını ve önbelleğe almasını engelleyeceği bir robots.txt dosyası kullanmadığı için, birçok faktöre dayalı bir özet değerlendirme kazandı.

İktidar pdf

Özellikle robots.txt dosyalarıyla ilgili ABD yasaları yoktur; ancak başka bir davada, sonuçta robots.txt dosyalarının içeriği korumak için alınan kasıtlı elektronik önlemleri atlattığı düşünülebilir. HEALTHCARE ADVOCATES, INC VS HARDING, EARLEY, FOLLMER & FRAILEY, vd. Healthcare Advocates, Harding ve arkadaşlarının, robots.txt dosyalarıyla daha yeni sürümleri olan sayfaların önbelleğe alınmış dosyalarına erişebilmek için Wayback Makinesi'nin yeteneklerini temelde hakettiğini savundu. Healthcare Advocates bu davayı kaybederken, Bölge Mahkemesi, sorunun Harding ve arkadaşlarının "kilidi" seçmediğini, ancak Wayback Machine ile sunucuya erişim sorunu olan sunucuya yükleme sorunu nedeniyle dosyalara erişim kazandıklarını belirtti. gerektiğinde önbelleğe alınmış dosyalar

Mahkeme Kararı pdf

Birisi yan bu kararı ve dönüşler o alana kadar sadece zaman IMHO meselesidir: Mahkeme robots.txt göstermiştir olan tarama ve engellemeyi önlemek için bir kilit olup kilit açmaktan.

Bu davaların birçoğu maalesef, "Tarayıcınıza izin verilmediğini söylemeye çalıştım ve tarayıcınız bu ayarları / komutları görmezden geldi" kadar basit değildir. Tüm bu durumlarda nihayetinde, bir robots.txt dosyasının ABD DCMA yasalarına göre elektronik koruma yöntemi olarak kabul edilip edilmeyeceği konusundaki ana konudan daha fazla sonucu etkileyen bir dizi başka sorun vardır.

Bunun bir ABD yasası olduğu söylendi ve Çin'den biri ne istiyorsa yapabilir - yasal mesele yüzünden değil, ancak Çin ABD’nin ticari markasını ve telif hakkı korumasını zorlamayacağından, bu yüzden onlardan sonra iyi şanslar.

Kısa bir cevap değil, ama sorunuza kısa, basit bir cevap yok!

— jcanker
kaynak

1

Bu harika bir cevap, teşekkürler. Robots.txt ile ilgili hoşuma gitmeyen şey, bunun gerçek bir standart olmadığı (yasaların gerektirmediği bir standart). Bu şirketler basitçe görmezden gelebilirler. Bana "Bir robots.txt dosyası hazırlamanız ve belki de web sitenizi taramayacağız, ama belki de istediğimiz gibi yaparız" dedikleri konumda olmaktan hoşlanmıyorum. Web sitesinin ToS'unu web sitesinin meta verilerinde belirtmek için bir standart olması harika olurdu.

— kralyk

5

@jcanker Bu iki dava, telif hakkı ihlali iddialarıyla ilgilidir. İçeriği önbelleğe alan tarayıcıların davranışında, Google ve archive.org tarafından işletilenler gibi, telif hakkı sorunlarının ortaya çıkması mükemmel bir anlam ifade eder. Ancak, McAfee SiteAdvisor aslında eriştiği web sitelerinden içeriği (genel olarak daha az erişilebilir kılmak) kopyalamıyor ve saklamaz, öyle değil mi? Avukat olmamama rağmen, bu ayrımın bize , robots.txt dosyasına saygı gösterip göstermemesine bakılmaksızın , her iki durumun SiteAdvisor gibi bir sistemin davranışına uygulanabilir olduğuna kesinlikle şüphe etmemize neden olduğunu düşünüyorum .

— Eliah Kagan

12

@ kralyk - re "Bu şirketler basitçe görmezden gelebilirler." İyi evet. İnternet böyle çalışır. Ve bir şekilde daha temel olsa bile, bir tarayıcının web sayfalarınıza erişiyor gibi bir insan olduğunu iddia etmesi önemsiz, kesinlikle önemsiz olacaktır. Teknik olarak imkansız olanı istiyorsun . Gerçekten, ne sorduğunuzu düşünürseniz, aradığınız şeyin mantıklı olmadığını düşünüyorsanız, hiçbir anlamı yoktur. Yasal bir ayrım dışında. Tek olası korumalarınız (1) kullanıcı girişi onaylamanın arkasındaki önemli içeriği gizlemek ve (2) bu cevapta tartışıldığı gibi yasal korumadır.

— ToolmakerSteve

@ToolmakerSteve Robotları tamamen yasaklamanın teknik olarak imkansız olduğunu biliyorum. Bu farklı bir durum olsa da - Teknik bir çözüm aramıyorum, yasal olup olmadığını soruyorum, ayrıca McAffee’nin web sitemi taradıklarını bildiklerini, bunun tespit etmeme gerek olmadığını da unutmayın.

— kralyk

Başka bir şekilde de emsali yasal: ebay v teklif sahibinin kenarı

— John

91

Evet, bunu yapmaya hakları var - halka açık bir web sitesi yarattınız, yapmadıklarını düşündüren nedir?

Siz de elbette onları durdurma hakkınız var. Web sitenizi robots.txt ile taramalarını veya aktif olarak fail2ban gibi bir şeyle erişmelerini engellemelerini isteyebilirsiniz .

Alternatif olarak, endişelenmeyin ve hayatınıza devam edin. Hiçbir şeyi incitmiyor ve kesinlikle İnternet araştırmasının iyi huylu tarafında.

— Dan
kaynak

4

> "Evet, bunu yapma hakkına sahipler - halka açık bir web sitesi yarattınız, yapmadıklarını düşündüren nedir?" Bir şey teknik olarak mümkün ise, mutlaka yasal olduğu anlamına gelmez. Örneğin, YouTube’un ToS’si video indirmeyi yasaklıyor, bu yüzden teknik olarak çok kolay olmasına rağmen buna hala izin verilmiyor.

— Sitem

16

@kralyk - Eğer herkese (McAfee içeren) bakmak istemiyorsan, internete koyma. Bu kadar basit. WEB SİTENİZİ KONTROL EDİYORUZ. Kimse sizi oraya koymaya zorlamıyor ve insanların bakmasını istemiyorsanız, oraya koymayın. Eğer onu ortaya çıkaracaksanız, insanların (size bir şeyler satmak isteyen insanlar da dahil) baktıklarına şaşırmayın. Arzularınızı başkasının problemine dönüştürmeye çalışmayı bırakın.

— Michael Kohne

9

@ kralyk: cidden? Gerçekten buradaki sorunun çifte standart olduğunu mu düşünüyorsun? McAfee'de hiç kimse web sitenizi bilmiyor veya umursamıyor. Yapmamalılar. Web’de gezinen herhangi birinin, herkesin Kİ’sini okumasını beklemek saçma olacaktır. Bu yüzden robot.txt icat edildi.

— ToolmakerSteve

3

@kralyk KYS'nin anlamlı bir yere yakın olması için söz konusu kaynaklara erişimin kapılı olması gerekir. Korunmayan sayfalarınızı tarayan bir robot, bir hesap kaydeden, bir KSS'yi tanıyan ve ardından bilgileri bir robota besleyen birinden tamamen farklıdır.

— Andrew B,

4

@kralyk - çeşit ne TOS Eğer McAfee ihlal hissediyorum sitenizde var (saygı değil)?

— Kevin Fegan

11

Bu davranışın etik olup olmadığı tamamen kesin değildir.

Halka açık bir siteyi tarama eylemi, etik dışı değildir (açıkça bir robots.txt veya başka bir teknolojik önlem kullanmanız yasaklanmadıkça ve onları aşındırıyorlarsa).

Yaptıkları şey, dünyaya muhtemelen güvende olmadığınızı söylerken sizi soğukkanlılığın kaba eşdeğeridir. Bu itibarınıza zarar verirse ve haksızsa, etik değildir; eğer bunu yaparsa ve bunun için tek çözüm, onlara para vermeni gerektiriyorsa, hile yapıyor. Ancak, bunun ne olduğunu sanmıyorum.

Bunun etik dışı kaldığı bir diğer zaman, birisinin içeriğinizi veya verilerinizi uygun hale getirmek için sitenizi taradığı ve ardından kendi sitenizi temsil ettiği zamandır. Ancak, bu da olup bitenler değil.

Bu yüzden, bu davadaki davranışlarının etik olduğunu ve büyük olasılıkla bunu görmezden gelebileceğinizi öneriyorum.

Onlarla ilgili istenmeyen e-posta gönderme davranışları, onlarla bir ilişkiniz yoksa ve e-postaları istemiyorsanız etik değildir, ancak çalışan bir aboneliği iptal etmekten şüpheleniyorum.

— Falcon Momot
kaynak

1

DisallowBir robots.txt dosyasındaki bir yönergeyi "yasaklayan teknolojik önlem" olarak adlandıracağımdan emin değilim . robots.txt bir nezaket talebi olarak davranır ve iyi kalpli botlar buna uymaya devam ederken, hiçbir zorunluluk yoktur ve gerçek güvenlik söz konusu değildir. Aslında, kötü niyetli davranılan botlar, robots.txt dosyasına bu belirli yolu taramak için bir davet olarak

— girebilir

2

@ MichaelKjörling, Sadece yarısı katılıyorum. Gerçek bir güvenlik yok ancak bir zorunluluk var. Bu bir onay işaretidir ve girme izniniz olmadığı için yükümlülüğünüz uzak durmaktır.

— Ben

Kilitlenmemiş bir "uzak dur" işareti. Bunu evinizde deneyin ve hırsızlar çağırdıktan sonra ne kadar sempati duyduğunuzu görün! (Aslında, insanların dışarıda kalmasını istediğiniz

— kilidin açılmayan

2

Bazı kişilerin veya şirketlerin web sitenize erişmelerini engelleme konusunda teknik yaklaşım:

Belirli IP adreslerini veya adres aralıklarının sitenizdeki sayfalara erişmesini engelleyebilirsiniz. Bu .htaccess dosyasında (siteniz Apache Web Sunucusu'nda çalışıyorsa).

http://www.htaccess-guide.com/deny-visitors-by-ip-address/

Web sunucunuza, erişildiği IP adreslerini kaydetmesini ve McAfee ile ilişkilendirilmiş adresleri bulmak için bu IP adreslerini aramasını sağlayın. Düzenli bir ziyaretçiniz yoksa şimdi anlatması çok kolay.

Elbette, gelecekte IP adreslerini değiştirebilirler. Yine de, bulduğunuz IP adreslerini ararsanız, kimlerin sahibi olduğunu görmek için McAfee'nin sahip olduğu adres bloklarının tamamını öğrenebilir ve hepsini engelleyebilirsiniz.

Bunu yapmak için yasal olarak:

"Web sitesi sahipleri bazı kullanıcıları yasal olarak engelleyebilir, mahkeme kuralları"

http://www.computerworld.com/s/article/9241730/Website_owners_can_legally_block_some_users_court_rules

(Web siteniz kişiselse, hiç kimse bazı kullanıcıları engelleme hakkınıza itiraz edemez. Ancak, bir işletme için bir web sitesiyse, bu tartışmanın her iki tarafında da yasal ve ahlaki tartışmalar vardır. yasal olarak korunacak - ve daha az kimse yine de şikayet etmeye yetecek kadar önemsedi.)

Ayrıca ilginizi çekebilir "Ziyaretçilere yönlendirenleri reddet".

"Günlüklerinize hiç baktıysanız ve trafikte şaşırtıcı bir artış fark ettiyseniz, ancak gerçek dosya isteklerinde artış olmadıysa, muhtemelen içeriği tutan bir kişi (CSS dosyaları gibi) veya web sitenizi kırmaya çalışan biri olabilir (bu sadece denemek anlamına gelebilir) herkese açık olmayan içeriği bulmak için).

http://www.htaccess-guide.com/deny-visitors-by-referrer/

— ToolmakerSteve
kaynak