Мені не подобається, що я бачу багато 404 помилок у access.log мого веб-сервера. Я отримую ці помилки, оскільки сканери намагаються відкрити файл robots.txt , але не знайшли жодної. Тому я хочу розмістити простий файл robots.txt, який запобіжить появі 404 помилок у моєму файлі журналу.
Що таке мінімально допустимий файл robots.txt, який дозволить сканувати все на сайті?
Відповіді:
Як зазначено тут , створіть текстовий файл під назвою robots.txt у каталозі верхнього рівня свого веб-сервера. Ви можете залишити його порожнім або додати:
User-agent: *
Disallow:
Якщо ви хочете, щоб роботи повзали все . Якщо ні, то див. Вищенаведене посилання для додаткових прикладів.
Найкращий мінімум robots.txt- абсолютно порожній файл.
Будь-які інші "нульові" директиви, такі як порожні Disallowабо Allow: *не тільки марні, оскільки вони не працюють, але додають непотрібної складності.
Якщо ви не хочете, щоб файл був повністю порожнім - або ви хочете зробити його більш зрозумілим для людини - просто додайте коментар, починаючи з #символу, наприклад # blank file allows all. Сканери ігнорують рядки, починаючи з #.
Я б сказав це;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Це дозволить Google сканувати все, але заборонить Google сканувати вашу панель aadminn. Яка ідеальна ситуація для вас.