Поєднайте користувальницькі агенти в robots.txt

Чи можуть бути перелічені користувацькі агенти разом із дотриманням їх загальних правил, як-от так, в robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— Давидкондей
джерело

Чи є причина, чому ви не використовуєте, user-agent: *за яким слід disallow? Чи перелік "дозволених" користувачів-агентів довший за список, який ви хочете заборонити?

— Майк Хадсон

Дивіться також на SO: Чи можливо перерахувати декілька користувачів-агентів в одному рядку?

— unor

Так. Якщо припустити, що імена вашого агента вказані правильно, то, схоже, це має працювати. Ось ресурс, якщо ви хочете прочитати більше. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— closetnoc
джерело

Оригінальний robots.txt специфікація погоджується: «Якщо більш ніж одне поле User-агент присутній запис описує ідентичну політику доступу для більш ніж одного робота.»

— Ільмарі Каронен