Як заборонити весь каталог із robots.txt?

19

У мене є два сайти, над якими я зараз працюю, на яких є кошик для покупок і ще один покупець. Обидва знаходяться під одним іменем домену, наприклад,

http://example.com/first_url 
http://example.com/second_url

Обидві ці URL-адреси мають тонни сторінок під ними

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Як заборонити основну URL-адресу, /first_urlа /second_urlтакож всі підсторінки та підкаталоги? Я думав щось подібне, але не знаю, працює це чи ні, і чи це був правильний синтаксис

Disallow: /first_url/*/
Disallow: /second_url/*/

seo robots.txt

— Стівен Остерміллер
джерело

1

Я думаю, що ваш синтаксис правильний, але не впевнений у додатковому /

26

Для блокування цих каталогів вам не потрібен кінець косої риски. Це спрацює:

Disallow: /first_url/*
Disallow: /second_url/*

Ця довідкова сторінка Google досить добре висвітлює це питання.

— Джон Конде
джерело

7

Ви можете просто зробити "Disallow: / first_url". Замісна підстановка ігнорується. За інформацією developers.google.com/webmasters/control-crawl-index/docs/…

— Євгеній

Вам потрібно Disallow: / url / *, щоб відповідати таким речам, як example.com/url/test?test=1

— Gareth Daine

-1

Ви можете використовувати це як за замовчуванням robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

Зірка дозволить заборонити все під цією категорією. Можна навіть заборонити одну конкретну річ під цією категорією, ввівши цю конкретну URL-адресу.

— SAF
джерело

4

Це не відрізняється від прийнятої відповіді, крім того, що вам не вистачає початкової косої риски. Правила заборони в robots.txt повинні починатися з косої риски. Ось так є всі приклади в документації

— Стівен Остерміллер