«robots.txt» etiketlenmiş sorular

Bu sorudaki cevapları okudum, ancak yine de sorumu açık bırakıyorlar: Google robots.txt'yi önbelleğe alıyor mu? Google Web Yöneticisi Araçları'nda robots.txt dosyamın yeniden indirilmesini başlatmanın bir yolunu bulamadım . Bazı hatalar nedeniyle, robots.txt dosyamın yerine: User-agent: * Disallow: / Ve şimdi tüm içeriğim Google arama sonuçlarından kaldırıldı. Açıkçası, bunu mümkün olan …

11 google  google-search-console  robots.txt 

Çünkü kesinlikle öyle görünüyor. Sitelerim için resim dizinine izin vermiyoruz ve önizlemelerin tümü, sitenin sakat görünmesini sağlayan eksik resimler. Bu durumda ve sadece önizleme botunun robots.txt kullanarak görüntülere erişmesine izin vermenin bir yolu var mı? DÜZENLEME: Görünüşe göre, önizlemeler hem normal Google Bot hem de Web Yöneticisi Merkezi Blogunda belirtildiği …

11 google  robots.txt 

Kullanıcı aracıları birlikte listelenebilir ve bunları bir robots.txt dosyasında olduğu gibi ortak kuralları izleyebilir mi? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

11 web-crawlers  robots.txt  user-agent 

Birkaç farklı site haritasına bağlanan her dil için bir site haritası dizini içeren iki dilli bir web sitem var (videolar için bir, statik içerik için bir ve makaleler için bir). Site haritası dizinlerini bağlayan başka bir site haritası tanıtmak istiyorum, bu yüzden bu site haritasını kökteki robots.txt dosyasına bağlayabilirim ve …

11 google  sitemap  robots.txt 

Ben karşılaştım bu makalede bugün SEO haber. Görünüşe göre robots.txt dosyasındakiNoindex: standart Disallow:direktiflere ek olarak direktifleri de kullanabilirsiniz . Disallow: /page-one.html Noindex: /page-two.html Arama motorlarının birinci sayfayı taramasını ve ikinci sayfayı dizine eklemelerini önleyecek gibi görünüyor. Bu robots.txt yönergesi Google ve diğer arama motorları tarafından destekleniyor mu? Çalışıyor mu? Belgelenmiş …

10 web-crawlers  robots.txt  googlebot  noindex 

Bir site için aşağıdaki robots.txt dosyasını kullanıyorum: Hedef, googlebot ve bingbot'un sayfa dışındaki siteye erişmesine izin vermek ve /bedven/bedrijf/*diğer tüm botların siteyi taramasını engellemektir. User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: google Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: bingbot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: bing Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: * …

10 web-crawlers  robots.txt 

Kodum taban birkaç ortamlarda (canlı, evreleme, dev) ve alt alanları (arasında paylaştırılır staging.example, dev.examplevs.) ve sadece iki taranmak izin (yani. Alınmalıdır www.exampleve example). Normalde değiştirir /robots.txtve eklerdim Disallow: /, ancak paylaşılan kod tabanı nedeniyle /robots.txttüm (alt) etki alanlarını etkilemeden değiştiremem . Bu konuda nasıl bir fikrin var mı?

10 domains  subdomain  robots.txt  multi-subdomains 

Çoğunlukla arama motorları tarafından dizine eklenmesini istemediğim bir web sitem var, ancak archive.org'da sonsuza kadar korumak istiyorum. Yani benim robots.txtbununla başlıyorum: User-agent: * Disallow: / Bugün, archive.org'a göre robots.txtbotlarına izin vermek için aşağıdakileri eklemeliyim : User-agent: ia_archiver Disallow: Ancak, birkaç yıl önce belirttiklerini zaten yapmıştım, en azından aşağıdakileri ekledim: User-agent: …

10 web-crawlers  robots.txt  internet-archive 

Hosting hesabımdaki bazı web sitelerimde EXTREME bot sorunları yaşıyorum. Botlar, tüm hosting hesabım için CPU kaynaklarının% 98'inden ve bant genişliğimin% 99'undan fazlasını kullanıyor. Bu botlar, sitelerim için saatte 1 GB'tan fazla trafik üretiyor . Tüm bu siteler için gerçek insan trafiği ayda 100 MB'den azdır . Bu botları engellemek için …

9 php  htaccess  robots.txt 

Yazılarım ve arşivler /sample-post/için WordPress ve URL'ler kullanıyorum /yyyy/mm/. Google siteyi tamamen dizine ekledi. Arşivler şu anda tam yayınları görüntülediğinden, Google'ın tüm yayınları içerdiği ve yinelenen içerik olacağı için arşiv sayfalarını dizine eklemesine izin vermemeliyim diye düşündüm. Böylece robots.txt dosyam şunları içerir: Disallow: /2009/ Disallow: /2010/ Disallow: /2011/ Disallow: /2012/ …

9 seo  wordpress  robots.txt  duplicate-content  google-index 

Dolayısıyla, arama yapmayan tüm sitelerimize bir robots.txt dosyası uyguladık ( bir web sitesini gerçek zamanlı Google arama sonuçlarından nasıl hariç tutabilirim? Veya başka bir benzer soru). Bununla birlikte, arama terimleri yeterince spesifikse alan adının kendisi sonuçlar aracılığıyla bulunabilir. Bunun bir örneğini burada bulabilirsiniz . Bağlantıdan görebileceğiniz gibi, alanın kendisi bulunabilir …

9 seo  robots.txt