Чи можу я викликати Google для перевірки мого robots.txt?

Я читаю відповіді в цьому запитанні, але вони все ще залишають мої питання відкритими: чи кешує Google robots.txt?

Я не знайшов способу в Інструментах для веб-майстрів Google викликати повторне завантаження мого robots.txt .

Через деяку помилку мій robots.txt був замінений на:

User-agent: *
Disallow: /

А тепер весь мій вміст було видалено з результатів пошуку Google.

Очевидно, мені цікаво виправити це якомога швидше. Я вже замінив robots.txt , але не можу знайти спосіб оновити Google, кешовану версію.

Ви не можете змусити їх повторно завантажити робот.txt, коли захочете. Google повторно сканує його та використовуватиме нові дані, коли вважатиме, що це підходить для вашого сайту. Вони, як правило, сканують його регулярно, тому я не очікував би, що знайдеться оновлений файл, і ваші сторінки повторно сканують та повторно індексують. Майте на увазі, що після виявлення нового файлу robots.txt може знадобитися деякий час, перш ніж ваші сторінки будуть повторно скановані, і ще більше часу, щоб вони знову з’явилися в результатах пошуку Google.

Я зіткнувся з тією ж проблемою, коли відкрив свій новий веб-сайт www.satyabrata.com16 червня.

Я був Disallow: /в моєму файлі robots.txt , так само , як Олівер. Також в Інструментах для веб-майстрів Google надійшло попередження про заблоковані URL-адреси.

Проблема була вирішена вчора, 18 червня. Я зробив наступне. Я не впевнений, який крок працював.

1. Здоров'я -> Отримати як Google: robots.txt та домашню сторінку. Потім подайте до індексу.
2. Налаштування -> Пропонований домен: Відображати URL як www.satyabrata.com
3. Оптимізація -> Мапи сайту: Додана карта XML.

Попереджувальне повідомлення про заблоковані URL-адреси вже відсутнє, і новий robots.txt відображається завантаженим у Інструменти Google для веб-майстрів.

Зараз у мене лише дві сторінки, проіндексовані в Google, домашня сторінка та robots.txt . У мене на веб-сайті 10 сторінок. Сподіваюсь, незабаром решта буде індексована.

У мене виникла проблема, коли зображення були переміщені на окремий сервер CNAME, а в папку із зображеннями було поставлено заборону. Я зрозумів, як robots.txt в Інструментах для веб-майстрів читав веб-сторінку як інструмент Google. Після того, як мені сказали, що він отримав і прочитав robots.txt, я подав його. Це порушило тримісячне ембарго на сканування зображень, де Google повідомив, що він читає файл robots.txt, але не змінив свій пайдер, щоб відповідати правилам, які були змінені, щоб дозволити папку зображень. Протягом тижня зображення знову індексувались.

Можливо, варто спробувати. Google, як відомо, час від часу застрягає і не перечитає файл.

Сподіваюся, що це посилання допоможе вам сканувати ваші веб-сайти: https://support.google.com/adsense/answer/10532?hl=uk .

Видаліть /із файлу robots.txt .

У моєму випадку проблема полягала в тому, що я використовував безкоштовну службу DNS під назвою boji.org.

(мій безкоштовний домен закінчився .us.to)

Як тільки я перейшов до TLD, він почав працювати.