7
Чи кешує Google robots.txt?
Тиждень тому я додав файл robots.txt на один із своїх сайтів, що повинно було завадити Googlebot намагатися отримати певні URL-адреси. Однак у ці вихідні я можу бачити, як Googlebot завантажує ці точні URL-адреси. Чи кешує Google robots.txt і, якщо так, чи слід?