Де зберігається robots.txt для встановлення WordPress Multisite?

9

Інструменти Google для веб-майстрів можуть бачити це, але я не можу його знайти. Будь-яка ідея про те, як це генерується або де це структура файлів? Я не бачу файл у своєму корені. Мій веб-сайт знаходиться за адресою http://mikewills.me, а URL-адреса файла robots.txt http://mikewills.me/robots.txt .

Зрештою, Google не індексує мій сайт, і я намагаюся зрозуміти, як відредагувати robots.txt, щоб дозволити індексацію. Я змінив параметр конфіденційності, щоб дозволити індексування, але це не оновило robots.txt.

multisite

— Майк Уіллс
джерело

Посилання на сайт? robots.txt навряд чи матиме відношення до WP ...

— Rarst

11

Він динамічно генерується функцією do_robots(), яка має і дію ( do_robotstxt), і фільтр ( robots_txt). Якщо ви створили robots.txtфайл у вашому корені WordPress, він (ймовірно) буде поданий, коли /robots.txtбуде запитано, інакше обробка повернеться до WordPress.

Ваш поточний файл виглядає приблизно так:

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

Перші два налаштування підходять для блогу, що підлягає індексуванню. Тож ви, можливо, просто чекаєте на Google зараз. Можливо, вам потрібно подати запит на перегляд вашого сайту .

— Аніка Бекстром
джерело

Спасибі за інформацію. Я був під цим припущенням. Мені було страшно бачити Дізлоу. Так це тоді добре?

— Майк Уіллс

2

@Mike: Так, це нормально. Що ви зараз говорите: "Ей, роботи, чия User-agentвідповідність *(тому всі роботи), список сторінок, до яких ви не можете отримати доступ [empty]". Що означає, що вони можуть отримати доступ до всіх сторінок.

— Ян Фабрі

Додавання robots.txt до кореня, здається, не працює, воно все ще обслуговує створений WordPress. Чи немає способу додати або змінити robots.txt без встановлення плагіна?

— Нік

3

robots.txt створюється динамічно. Немає файлу robots.txt. Встановити плагін robot.txt вирішить вашу проблему. Сподіваюсь, це допомагає

— користувач1167
джерело