Як я можу заохотити Google читати новий файл robots.txt?

22

Я щойно оновив файл robots.txt на новому сайті; Google Інструменти для веб-майстрів повідомляє, що він прочитав мій robots.txt за 10 хвилин до мого останнього оновлення.

Чи можу я закликати Google якнайшвидше перечитати мій robots.txt?

ОНОВЛЕННЯ: у розділі Конфігурація сайту | Доступ гусеничного | Тест robots.txt:

Показує доступ до домашньої сторінки:

Googlebot заблоковано з http://my.example.com/

FYI: robots.txt, який останній раз прочитав Google, виглядає так:

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

Чи застрелив я себе в ногу, чи зрештою прочитає: http: ///robots.txt (як це робилось востаннє)?

Будь-які ідеї щодо того, що мені потрібно зробити?

google robots.txt google-webmaster-tools

— qxotk
джерело

FYI: Сайт новий, і це повідомлення з’являється в Налаштуваннях | Частота сканування: "Вашому сайту призначені спеціальні налаштування швидкості сканування. Ви не зможете змінити швидкість сканування."

— qxotk

FYI: Я знайшов публікацію в групах google, яка сказала, що Google читатиме robots.txt "принаймні один раз на день" - може хто-небудь підтвердити це? [публікації в групах google тут: groups.google.com/group/google_webmaster_help-indexing/… ]

— qxotk

FYI: 1 день минув, а Google ще не прочитав оновлений файл robots.txt.

— qxotk

Тут же питання, це не "особливість" ...

— mate64

25

У випадку, якщо хтось інший зіткнеться з цією проблемою, є спосіб змусити google-бот повторно завантажити файл robots.txt.

Перейдіть у розділ Health -> Отримати як Google [1] і отримайте його /robots.txt

Це повторно завантажить файл, а Google також переаналізує файл.

[1] у попередньому інтерфейсі Google це було "Діагностика -> Отримати як GoogleBot".

— Метт
джерело

11

На жаль, це не буде працювати, якщо для вашого robots.txt встановлено значення Disallow: /. Замість того, щоб отримати звіти "Відхилено robots.txt": /.

— studgeek

3

Наступного разу додайте цей рядок. Дозволити:

— /robots.txt

Я не можу знайти "Діагностику", можливо, інтерфейс користувача змінився?

— Девід Річчіллі

2

Гаразд, це тепер Здоров'я> Отримати як Google.

— David Riccitelli

Не працює для мене, коли я намагаюся отримати robots.txt. Помилка: "Наразі сторінку не вдалося сканувати, оскільки її блокує останній завантажений файл robots.txt Googlebot. Зауважте, що якщо ви нещодавно оновили файл robots.txt, це може пройти до двох днів, перш ніж оновитись. Додаткову інформацію можна знайти в статті довідкового центру про robots.txt. "

— Індрек

4

Я знаю, що це дуже давно, але ... Якщо ви завантажили неправильний robots.txt (забороняючи всі сторінки), ви можете спробувати наступне:

спочатку виправте файл robots.txt, щоб потім дозволити правильні сторінки
завантажте файл sitemap.xml зі своїми сторінками

оскільки Google намагається прочитати файл XML, він перевірить, що він отримує robots.txt, змусивши Google перечитати ваш robots.txt.

— Хусам
джерело

Це не спрацювало для мене. В ньому йдеться про те, що мапу сайту блокували robots.txt

— Джеймс

1

ДОБРЕ. Ось що я зробив, і протягом декількох годин Google перечитав мої файли robots.txt.

У нас є 2 сайти на кожен 1 сайт, який ми працюємо. Давайте назвемо їх канонічним сайтом (www.mysite.com) та сайтом голого домену (mysite.com).

Ми налаштували наші сайти так, що mysite.com завжди повертає 301 переадресацію на www.mysite.com.

Після того, як я налаштував обидва сайти в інструментах Google для веб-майстрів, сказав, що www.mysite.com - це канонічний сайт, він незабаром прочитав файл robots.txt на канонічному сайті.

Я не знаю чому, але це сталося.

— qxotk
джерело

3

Я знаю, що це по-старому, але прийняття власної відповіді на 100% є законним

— Марк Хендерсон

0

Скоротіть інтервал сканування Google на кілька днів.

Крім того, я бачив там buttom, щоб перевірити ваш robots.txt, це може змусити його google, але я не впевнений.

— BarsMonster
джерело

Чи можете ви бути більш конкретними? Я бачу: Конфігурація сайту | Доступ гусеничного | Тестуйте robots.txt, але це тестує текст, який ви вставляєте у поле, а не ваш живий файл robots.txt - також, саме там він повідомляє мені, коли він був останній завантажений. Де знаходиться кнопка "перевірити", про яку ви говорите?

— qxotk