Robots.txt - CSS izin veriyor veya izin vermiyor

Robots.txt dosyasında CSS ve şablonlara izin veriliyor mu?

Herhangi bir soruna neden olmalı mı?

Joomla'da, robots.txt dosyasında CSS ve şablonlara izin verilmiyor . Lütfen yaklaşan web sitelerim için CSS robotlarına, şablonlara vb. İzin vermeme konusunda bir çözüm bulmama yardımcı olun.

css robots.txt

— Manju George
kaynak

Joomla'nın bu dosyaları varsayılan olarak engellediğini sanmıyorum - eğer bunu kastediyorsanız?

— MrWhite

Yanıtlar:

Google, robots.txt dosyasında CSS veya JS dosyalarına erişimi engellememeniz gerektiğini resmi olarak belirtmek için son zamanlarda yönergelerini güncelledi . Bu, Google siteyi tararken siteyi tam olarak bir tarayıcı gibi görüntüleyebilmesini sağlar.

CSS veya JS dosyalarını engellerseniz, web sitenizin sıralamalarda ne kadar iyi performans gösterdiğine zarar verebilir.

Daha fazla bilgi için: Teknik Web Yöneticisi Yönergelerimizi ve burada: Web Yöneticisi Yönergelerimizi güncelleme

Bu yeni bir öneri olduğundan, birçok web sitesi ve CMS (Joomla gibi) genellikle robots.txt dosyasında bu tür dosyalara sahip olacaktır . Bunun arkasındaki sebep genellikle arama motorlarının bu dosyaları taraması veya dizine eklemesi gerekmediğinden, gereksiz dosyaların ve dizinlerin dizine eklenmesini durdurmak ve 'tarama bütçesini' kaydetmek için bunlar genellikle robots.txt dosyasında engellenir .

— maksimum
kaynak

Google aslında G'nin sitenizi tarama yeteneğine zarar verebileceğinden JS ve CSS'yi (Mart 2012'den Matt Cutts videosu) engellememeniz gerektiğini uzun zamandır söylüyor , sadece son zamanlarda "daha resmi" hale getirmiş olmaları.

— MrWhite

On yıldan fazla bir süredir CSS ve JS'nin engellenmemesi tavsiye edilmiştir. Arama motorları ile render yeni görünüyor biliyorum, ama değil ve basit JS de dahil olmak üzere bazı render biçimleri çok uzun zamandır var.

— closetnoc

Ek not (genellikle JS ile kullanıldığından biraz ilişkili) - Bir rotayı theme / view / JSON / URi aracılığıyla erişilebilir hale getiren herhangi bir denetleyici ile ilgili olarak, bunları engellemelisiniz veya belirtilenleri kullanarak sayfa yerine dizine eklenmemiş yüzlerle karşılaşabilirsiniz veri yüzü. Bu, özellikle JS'nin JSON gibi kullandığı şeyleri engellemek için geçerli bir "görünüm" alanıdır. G genellikle JS'yi çalıştırır, JSON bağlantısını görür ve ziyaret eder. Hatalara neden olur veya temaları çıkarsa, yarı oluşturulmuş bir dizin. Bu tamamen yeni bir can-o-solucan, ama sadece farkında ol.

— dhaupin

Google'ın söylediği her şeyi yapmamız gereken kargo kültü tavrıyla güçlü bir şekilde anlaşmazlığımı ifade etmek zorunda kaldım. Google ayrıca, görüntüleri taramalarına, HTTPS vb. Kullanmalarına izin verirseniz sitenizin daha üst sıralarda yer alacağını söylüyor. Günün sonunda, web sitenizi insanlar veya robotlar için oluşturuyor musunuz?

— Question Overflow

Sanırım Google'daki iyi sıralamaya ne kadar güvendiğinize bağlıdır? Her ne kadar çoğu şey gibi, sadece küçük bir gösterge, sahip oldukları çok sayıda faktör. Bahsettiğiniz gibi, son zamanlarda HTTP'lerin küçük bir sıralama faktörü olduğunu söylediler, ancak üzerinde çalıştığım 100'lerin hiçbirini HTTP'lere değiştirmedim ve sıralamaları iyi.

— Max

Sizin için strateji robots.txt benim web bölümler: hep soru tarafından cevap verilmesi gerekir olmamalıdır bir robot tarafından taranmasını ve hangi bölümlerin edebilir bir robot tarafından taranmasını.

Robotlar kendi mantıklarını uygularlar ve birden çok amaca sahiptirler (yalnızca Google'ın bir tarayıcısı yoktur ...), bu yüzden bir robotun CSS ve JS dosyalarınız tarafından bir şekilde "dikkatini dağıttığını" varsayarsanız, robotun kara kutusunu açarsınız ve geçerli uygulama ve akım robotun kararlıdır. Bu yararlı uzun vadeli bir strateji değildir.

Robotun etki alanında düşünmek yerine, webinizin içerik alanında düşünmeyi deneyin.

Bir robots.txt dosyasının güvenlik mekanizması olmadığını belirtmek istiyorum .

— saintedlama
kaynak

Şablonlar, blog oluşturma veya içerik yönetimi yazılımı (CMS) uygulaması tarafından kullanılır ve CSS tarayıcı ve arama motorları tarafından okunduğu ve okunması gerektiği durumlarda harici olarak erişilebilir olmamalıdır. Bunu söyledikten sonra, ikisini de engellemezdim ama aynı zamanda CMS tarafından değiştirilmiş olanları da değiştirmezdim. Arama motorları ve botlar şablonlarınızı önemsemez. Dizine eklenmesini veya okunmasını istemediğiniz, ancak robots.txt dosyasının bir güvenlik aracı olduğunu düşünmediğiniz URL / URI ile sitenize erişimi engelleyin. Bunun için tasarlanmamıştır.

— closetnoc
kaynak