«googlebot» etiketlenmiş sorular

Her üyenin coğrafi konumunu (db-ip kullanarak) izliyorum ve Chrome tarayıcılı cep telefonları dışında her şey yolunda. Bana her zaman bir sonuç verirler US Mountain View California ip:66.249.xxx.xxx. Bu Google; Bundan% 100 eminim. Ancak web sitesini ziyaret eden kişi benim. ABD'de bile değilim; Yerel bir GSM ISS kullanıyorum. Cep telefonumu Chrome …

27 googlebot  mobile  ip-address  google-chrome 

XML site haritası dosyalarımın bir site:arama sorgusunun sonucu gibi Google arama sonuçlarında görünmesini nasıl önlerim: Google’ın neden site haritası dosyalarını başlangıçta arama sonuçlarında göstermeyi tercih ettiğini anlamıyorum. Bu dosyalar insan tüketimi için değildir. Google'ın işleyebilmesi için tarayabilmesi gerekiyor, bu yüzden robots.txt dosyasına izin veremem . Sadece işledikten sonra arama sonuçlarına …

23 google  sitemap  search-engine-indexing  googlebot  xml-sitemap 

Baidu örümcek tarama frekansı hakkında çok şey yapıldı. Doğru: "Baiduspider deli gibi sürünüyor." Bu fenomeni çalıştığım sitelerde yaşadım. En azından bir örnekte, Baidus'un Google kadar yaklaşık% 1,1 trafik sağlamasına rağmen, Baiduspider'ın Googlebot ile yaklaşık aynı frekansta taradığını gördüm. Bu ziyaretleri sitemde olabildiğince az tutmak istiyorum (belki bir gün büyüyecekler mi?), …

18 seo  search-engines  googlebot  web-crawlers 

Bir hafta önce sitelerimden birine bir robots.txt dosyası ekledim , bu da Googlebot'un belirli URL'leri almaya çalışmasını engellemişti. Ancak, bu hafta sonu Googlebot’un tam olarak bu URL’leri yüklediğini görebiliyorum. Google robots.txt dosyasını önbelleğe alıyor mu ve öyleyse almalı mı?

17 googlebot  robots.txt  google-cache 

Bir Duyarlı Web sitesi oluşturduğumda genellikle 2 menü oluştururum: 1 gizli ve mobil cihazlar için kullanılır ve diğeri ana menü olarak görüntülenir, sonra mobil menüyü göstermek için gizlenir. SEO ve web sitesinde gezinen örümcekler söz konusu olduğunda, yinelenen menülere sahip olduğum için ölürüm? Örümcek için bu menünün mobil cihazlar için …

17 seo  web-crawlers  googlebot  navigation 

Şu anda tüm HTTPS olmayan bağlantıları HTTPS'ye yönlendiriyorum ve TLS v1, TLS v1.1 ve TLS v1.2'yi destekliyorum. Test sunucumu yalnızca çok sınırlı ve güvenli bir şifreleme paketini ve yalnızca TLSv1.2'yi kabul edecek şekilde yeniden yapılandırdım. SSL Labs testini yaptıktan sonra , uyumluluk çizelgelerinin Bing ve Google'ın tarayıcılarının TLSv1'in ötesinde desteklemediğini …

12 seo  search-engines  https  googlebot  bingbot 

Google'ın bir sayfanın bir bölümünü dizine eklemesini engellemek için kod gördüm: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> Bu çalışıyor mu?

12 search-engine-indexing  googlebot 

İşte müşterilerimden biri, hesabına giriş yaptıktan sonra bazı eylemler gerçekleştiriyor. Benzersiz simge basitçe şifrelenmiş bir kullanıcı kimliği + zaman damgasıdır. 94.254.xxx.xxx - - [02 / Tem / 2011: 22: 25: 46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla / 5.0 (uyumlu; MSIE 9.0; Windows …

12 google  search-engines  googlebot 

Google Web Yöneticisi Araçları'nın web sitemde çok sayıda engellenmiş kaynak bildirdiğini fark ettim. Şu anda tüm "engellenen kaynaklar", Cloudfront CDN'den hizmet verdiğim .css, .js ve resimlerdir (.jpg, .png). Test etmek ve google'ın bu dosyaları neden taramadığını ve "kaynak bloğu" durumunu bildirmediğini anlamaya çalışarak çok zaman harcadım. Şu anda bu dosyaları …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

Bir dizi bot yazdıktan ve bir siteyi taramak için meydana gelen çok sayıda rastgele bot gördükten sonra, bir web yöneticisi olarak merak ediyorum, hangi botların bir siteye gerçekten izin vermeye değer? İlk düşüncem, botların siteye girmesinin potansiyel olarak siteye gerçek trafik getirebileceğidir. Bir siteye gerçek trafik gönderdiği bilinmeyen botlara izin …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Bağlam: Birden çok dilde kullanılabilen bir web sitemiz var. Ancak içerik aynıdır. Sitenin çevrilmiş her sürümü farklı bir alt alanda kullanılabilir. Bazı sayfalarda, <link rel="canonical" />gerektiğinde aynı sayfanın aynı dilde standart sürümüne işaret etmek için kullanılır . Bu sadece temel normalleştirme şeyleridir, bu durumda etiketlerin sıralaması. Sorun şu ki, <link …

11 seo  google  googlebot  internationalization 

Ben karşılaştım bu makalede bugün SEO haber. Görünüşe göre robots.txt dosyasındakiNoindex: standart Disallow:direktiflere ek olarak direktifleri de kullanabilirsiniz . Disallow: /page-one.html Noindex: /page-two.html Arama motorlarının birinci sayfayı taramasını ve ikinci sayfayı dizine eklemelerini önleyecek gibi görünüyor. Bu robots.txt yönergesi Google ve diğer arama motorları tarafından destekleniyor mu? Çalışıyor mu? Belgelenmiş …

10 web-crawlers  robots.txt  googlebot  noindex 

Bir POST formunun arkasında içeriğim varsa (benim durumumda bir seçim kutusu) Googlebot veya diğer Arama Motoru Örümcekleri bu formun arkasındaki içeriği tarayabilir mi? Örneğin, bir sayfanın 4 çevirisine sahip olsaydım ve dil seçimi aynı URL'ye bir POST formuysa, daha sonra dile özgü URL'ye yönlendirilirse, Googlebot "diğer" dilleri tarayabilir mi?

10 seo  googlebot  forms  multilingual 

Okul klasörümdeki bir dizinde birkaç özel dosyam vardı. Dosyaları myschool.edu/myusername/myfolder adresine giderek, myschool.edu/myusername/myfolder/myfile.html adresinden dosyalara erişmeye çalıştıklarını görebilirsiniz. Yine de Google bir şekilde bu özel dosyaların içeriğini almayı ve önbelleğinde saklamayı başardı! Bu nasıl mümkün olabilir? [O zamandan beri bu dosyaları kaldırdım, bu yüzden Google'ın bunu nasıl başardığını merak ediyorum.]

10 web-crawlers  security  googlebot 

Google şimdi AJAX tarama planını kullanımdan kaldırmıştır . Googlebot'un dinamik içeriği izlemekte bir sorunu olmadığından, artık yeni web sitelerinde uygulamayı rahatsız etmemeyi söylüyorlar. Bu ifadeye derhal güvenmeli miyiz, yoksa bir süreliğine kullanımdan kaldırılmış standarda bağlı kalmalı mıyız?

9 seo  web-crawlers  googlebot  ajax