Kullanıcı aracılarını robots.txt dosyasında birleştirin

Kullanıcı aracıları birlikte listelenebilir ve bunları bir robots.txt dosyasında olduğu gibi ortak kuralları izleyebilir mi?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— davidcondrey
kaynak

user-agent: *Kullanmamanın ve ardından izin vermemenin bir nedeni var mı ? "İzin verilen" kullanıcı aracılarının listesi, izin vermek istemediğiniz listeden daha mı uzun?

— Mike Hudson

Ayrıca bkz. SO: Bir satırda birden fazla kullanıcı aracısı listelemek mümkün mü?

— unor

Evet. Ajan adlarınızın doğru bir şekilde belirtildiği varsayıldığında, bunun çalışması gerekir gibi görünüyor. Daha fazlasını okumak istiyorsanız işte size bir kaynak. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— closetnoc
kaynak

Orijinal robots.txt Spec kabul eder: "Birden fazla kullanıcı aracı alan rekor birden fazla robot için aynı erişim politikası varsa."

— Ilmari Karonen