«robots.txt» etiketlenmiş sorular

Robots.txt dosyasında site haritası dosyası için aşağıdaki göreli URL'yi yazabilir miyim? sitemap: /sitemap.ashx Veya site haritası dosyası için tam (mutlak) URL'yi kullanmak zorunda mıyım, örneğin: sitemap: http://subdomain.domain.com/sitemap.ashx Neden merak ediyorum: Kullanıcıların accountname.domain.com adresinde blog yazmasına olanak tanıyan yeni bir blog hizmetim (www.domain.com) var. Joker karakterler kullanıyorum, bu nedenle tüm alt …

191 seo  sitemap  robots.txt 

robots.txtGoogle Web Yöneticisi Araçlarındaki My aşağıdaki değerleri gösterir: User-agent: * Allow: / Bu ne demek? Bu konuda yeterince bilgim yok, bu yüzden yardımınızı arıyorum. Tüm robotların web sitemi taramasına izin vermek istiyorum, bu doğru yapılandırma mı?

116 robots.txt 

Statik dosyaları Flask'ın uygulama kök dizininde depolamak için akıllıca bir çözüm var mı? robots.txt ve sitemap.xml'nin / içinde bulunması bekleniyor, bu yüzden benim fikrim onlar için yollar oluşturmaktı: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response Daha uygun bir şey olmalı :)

94 python  flask  static  mod-wsgi  robots.txt