Kullanıcı aracılarını robots.txt dosyasında birleştirin


11

Kullanıcı aracıları birlikte listelenebilir ve bunları bir robots.txt dosyasında olduğu gibi ortak kuralları izleyebilir mi?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

1
user-agent: *Kullanmamanın ve ardından izin vermemenin bir nedeni var mı ? "İzin verilen" kullanıcı aracılarının listesi, izin vermek istemediğiniz listeden daha mı uzun?
Mike Hudson

Yanıtlar:


Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.