Googlebot, harita konumumuza binlerce istek gönderiyor ve API kotasını kullanıyor

Müşterilerimizin sitesinde bir mağaza bulma sayfası var. Son kullanıcı posta kodunu ve arama yarıçapını girer ve sonuçları bir Google Haritasında görüntüleriz.

Son zamanlarda, sitenin genel trafikte dikkate değer bir artış olmadan ücretsiz harita arama sınırına (24 saatte yaklaşık 25.000) ulaştığını fark etmeye başlamıştık. Sorunun ne olduğunu bulmak için bazı ek günlükleri açtım.

Googlebot'un bu haritada binlerce arama gerçekleştirdiği ortaya çıkıyor. Bu küçük bir örnek:

2017-07-09 23: 56: 22.719 [7] INFO ShopLanding - [Konu 41] Google Maps: araılan G23 66.249.66.221 adresinden OK aldı
2017-07-09 23: 56: 35.469 [7] INFO ShopLanding - [Konu 10] Google Maps: Aranan CA6, 66.249.66.221 tarihinden itibaren OK aldı
2017-07-09 23: 57: 24.563 [7] BILGI ShopLanding - [Thread 48] Google Maps: arama BN14 66.249.66.223 Tamam aldı
2017-07-09 23: 58: 00,970 [7] BILGI ShopLanding - [Thread 42] Google Maps: aranan CB4 66.249.66.221 adresinden OK aldı
2017-07-09 23: 58: 13.064 [7] INFO ShopLanding - [Thread 54] Google Haritalar: DY9 arandı 66.249.66.221 adresinden alındı
2017-07-09 23: 59: 18.722 [7] BILGI ShopLanding - [Thread 59] Google Maps: arama TS3 66.249.66.223 Tamam aldı
2017-07-09 23: 59: 53.223 [7] BILGI ShopLanding - [Thread 49] Google Maps: araılan S45 66.249.66.221 adresinden OK aldı

Google'ın bu kadar çok istekte bulunmasını engelleyebilmemin bir yolu var mı? Bu, serbest ödeneğin önemli bir kısmını yiyor. Meşru aramalar günde yaklaşık 200'ün altında görünüyor.

DÜZENLE

Site C # ASP.NET üzerine kurulmuştur. Mağaza arama POST kullanıyor, URL gönderildiğinde değişmiyor. Bu davranışı onaylamak için yarın sabah IIS günlüklerinin bir örneğini gönderebilirim.

web-crawlers google-maps

— Burgi
kaynak

Googlebot'un aradığı öğelerin bir anlamı var mı? "G23" ve "CA6" benim için bir şey ifade etmiyor. Googlebot genellikle formlara rastgele veri göndermez. Genellikle yalnızca açılır seçenekleri, önceden doldurulmuş verileri veya sorgu bağlantılarını tarar. Sitedeki bu değerler liste olarak bir yerde mi? Ayrıca, URL'leriniz bu istekler için neye benziyor?

— Stephen Ostermiller

@StephenOstermiller kısmi İngiltere posta kodları, özellikle de bölge tanımlayıcısıdır. Bunlar POSTAJAX için istekleri olmalı , ben de olsa IIS günlükleri kontrol edecektir.

— Burgi

Kenara: Bu "ücretsiz harita araması" nedir?

— MrWhite

@SamWeaver, Google bot olarak çözülür ve karşılık gelen IIS günlük girişinde Googlebot UserAgent bulunur. Kuşkusuz bunların her ikisi de sahte olabilir.

— Burgi

Mağaza bulucunuz sorgu dizesi kullanıyor mu (GET isteği)? Mağaza bulma sayfanızın kaba URL yapısı nedir, kullanıcı arama ile değişir mi (sorgu dizesi)? Fonksiyonel / teknik yan biti daha ayrıntılı olarak açıklayabilirseniz, daha etkili bir şekilde cevaplanabilir.

— TopQnA

Googlebot'un googlemaps aracılığıyla arama yapmasını durdurmak robots.txtiçin alan adınızın kök dizinine bir dosya yerleştirin . örneğin, https://www.wikipedia.org/robots.txt

Örnek robots.txt:

User-agent: Googlebot
Disallow: /search-store/

Nerede / search-store /, Google Haritalar'a istek gönderen sayfadır.

Googlebot'tan başka bir şey olursa, bu sayfaya yapılan tüm taramayı aşağıdakilerle devre dışı bırakmayı deneyebilirsiniz:

User-agent: *
Disallow: /search-store/

Robots.txt dosyasını yoksayan hatalı çalışan komut dosyalarını durdurmayacağını unutmayın.

— satibel
kaynak

Yine de Google'ın ve diğer arama motorlarının bu sayfalara örümcek atmasını istemediğinizi unutmayın!

— Ari Davidow

Tüm arama deposunu engellemenin doğru seçenek olup olmadığından emin değilim, sorgu dizesini vb. Anlamamız gerekebilir. Anlamı, Google'ın okumasına izin verin, ancak çok fazla istek göndermeyin. Tüm arama mağazasını engellemek son seçenek olmalıdır.

— TopQnA

Hız sınırlayıcı arama başka bir seçenek olabilir, diyelim ki 25 aramadan sonra, her arama arasında bir saat soğumalısınız. Botları ve hain insanları durduracak, ancak normal kullanıcıları durduramayacaktı.

— satibel

Sayfa sadece bir mağazanın konumunu aramak içinse, ilk etapta dizine eklemenin yararlı olacağını sanıyorum. Site yapısına bağlı olacaktır. Ayrıca robots.txt, hızlı bir düzeltme olarak uygulanması, hız sınırlaması için birkaç saat sürmekten daha kolay / daha hızlıdır (bu nedenle daha ucuzdur). @TopQnA

— satibel

Mağaza konumu kullanıcı için çok önemlidir ve çoğu kişi Google'daki konuma referansla bir mağaza arar ve mağaza bulucu her mağaza için benzersiz URL ile yararlı bilgiler içeren bir harita oluşturabilirse, o zaman çok daha yararlı olacaktır. Kullanıcı. İşte bu yüzden engelleme son seçenek olmalı.

— TopQnA