«robots.txt» etiketlenmiş sorular

Her web sitesinde bulunması gereken dosyaların bir listesini istiyorum. Buradaki fikir çoğu tarayıcıyı ve botu memnun etmek ve kayıtlardaki 404 mesajın sayısını azaltmaktır. Şimdiye kadar aşağıdaki dosyaları var: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png Sık sık talep edilen ve her web sitesinde bulunması gereken başka dosyalar var mı?

36 robots.txt  404  logging  favicon 

Herhangi bir özel davranış belirlemek istemiyorsam, bir robots.txt dosyasına sahip olmak istemiyorsam sorun değil mi? Yoksa birinin eksikliği zararlı olabilir mi?

29 robots.txt 

Bir web sunucusunda artık kabul etmem gerekiyor, robots.txt dosyasının boş olduğunu fark ettim. Boş bir robots.txt ile hiç dosya arasında bir fark olup olmadığını merak ettim. Tarayıcı bu iki durumda farklı davranıyor mu? Peki boş bir robots.txt dosyasını silmek güvenli midir?

28 web-crawlers  robots.txt  webserver 

Birkaç dinamik olarak üretilen URL’ler var. Bu URL'leri bir robots.txt dosyasında engellemek için regex kullanabilir miyim?

23 robots.txt  regular-expression 

Şu anda üzerinde çalıştığım bir alışveriş sepeti ve başka bir alışveriş yapan iki sitem var. Her ikisi de aynı alan adı altında olduğundan, örneğin http://example.com/first_url http://example.com/second_url Her iki URL'nin altında tonlarca sayfa var http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 http://example.com/second_url/product3 Nasıl ana URL engelleyebilirim /first_urlve /second_urlçok ve tüm alt sayfaları ve …

19 seo  robots.txt 

Sitemde arama motorlarını uzak tutmak istediğim bazı sayfalar var, bu yüzden dosyamda şu şekilde izin vermedim robots.txt: User-Agent: * Disallow: /email Yine de kısa bir süre önce Google'ın bazen arama sonuçlarında bu sayfalara bağlantılar döndürdüğünü fark ettim. Bu neden oluyor ve nasıl durdurabilirim? Arka fon: Birkaç yıl önce, bir akrabamın …

18 google-search  robots.txt 

Bir hafta önce sitelerimden birine bir robots.txt dosyası ekledim , bu da Googlebot'un belirli URL'leri almaya çalışmasını engellemişti. Ancak, bu hafta sonu Googlebot’un tam olarak bu URL’leri yüklediğini görebiliyorum. Google robots.txt dosyasını önbelleğe alıyor mu ve öyleyse almalı mı?

17 googlebot  robots.txt  google-cache 

Arama motoru web tarayıcılarından gizlemek istediğiniz bir alt dizin var. Bunu yapmanın bir yolu robots.txtsunucunun kök dizininde (standart yol) bir kullanmaktır. Ancak, web sitesi URL'sini bilen ve bazı temel web bilgisine sahip olan herkes robots.txt içeriğine erişebilir ve izin verilmeyen dizinleri tespit edebilir. Bundan kaçınmanın bir yolunu düşündüm, ama işe …

16 web-crawlers  robots.txt 

robots.txtGooglebotların dizine eklemeyi durdurması için bu tür URL'lerin nasıl engelleneceğini lütfen bize bildirir misiniz ? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Web sitem saldırıya uğradı, ancak hacker Google'da 5000 URL'yi dizine ekledi ve şimdi /+yukarıdaki bağlantıdan başlayarak rastgele oluşturulan bağlantılarda 404 hatası alıyorum . Bu URL'leri Google Web Yöneticisi Araçları'ndan manuel olarak kaldırmanın dışında hızlı …

15 google-search  robots.txt  url-removal 

Web sunucumun access.log dosyasında çok fazla 404 hatası görmekten hoşlanmıyorum . Tarayıcılar bir robots.txt dosyası açmaya çalıştıklarından ancak bulamadıklarından bu hataları alıyorum . Bu yüzden günlük dosyamda 404 hatalarının görünmesini engelleyecek basit bir robots.txt dosyası yerleştirmek istiyorum . Sitedeki her şeyin taranmasına izin verecek minimum geçerli bir robots.txt dosyası nedir?

14 robots.txt 

Robots.txt dosyasında CSS ve şablonlara izin veriliyor mu? Herhangi bir soruna neden olmalı mı? Joomla'da, robots.txt dosyasında CSS ve şablonlara izin verilmiyor . Lütfen yaklaşan web sitelerim için CSS robotlarına, şablonlara vb. İzin vermeme konusunda bir çözüm bulmama yardımcı olun.

12 css  robots.txt 

Web sitemde kullanıcının yalnızca URL'sini verirsem ziyaret edebilmesini istediğim bazı sayfalar var. Tek sayfaları robots.txtiçeri almazsam, bu sayfalara bakan herkes tarafından görülebilir. Sorum şu: Onları herhangi bir yerden veya en azından dizine eklenmiş bir sayfadan bağlamazsam, tarayıcılar tarafından yine de bir şekilde erişilebilir mi?

12 robots.txt 

Bir dizi bot yazdıktan ve bir siteyi taramak için meydana gelen çok sayıda rastgele bot gördükten sonra, bir web yöneticisi olarak merak ediyorum, hangi botların bir siteye gerçekten izin vermeye değer? İlk düşüncem, botların siteye girmesinin potansiyel olarak siteye gerçek trafik getirebileceğidir. Bir siteye gerçek trafik gönderdiği bilinmeyen botlara izin …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Ben herhangi bir arama motoru sonuçta listelenmesini istemiyorum bir subomain var. Diyelim ki: http://www.example.com http://child.example.com Şu anda arama motoru sonuçlarında gösterilen alan adının tüm URL'lerini nasıl gizleyebilirim child.example.com?

11 search-engines  url  robots.txt  search  noindex 

Bu benim robots.txt dosyam : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Ancak Google Web Yöneticisi Araçları, robotların site haritasına erişimi engellediğini söylüyor: Site Haritanıza erişmeye çalışırken bir hatayla karşılaştık. Lütfen Site Haritanızın yönergelerimize uyduğundan ve sağladığınız yerden erişilebildiğinden emin olun ve ardından yeniden gönderin: URL, robots.txt tarafından kısıtlandı …

11 google-search-console  robots.txt  web-crawlers