Чи є різниця між порожнім robots.txt і зовсім не robots.txt?

На веб-сервері, який я маю тепер адміністратору, я помітив, що robots.txt порожній. Мені було цікаво, чи є різниця між порожнім robots.txt і жодним файлом.

Чи поводяться сканери по-різному в цих двох випадках? Отже, чи безпечно просто видалити порожній robots.txt?

Чи поводяться сканери по-різному в цих двох випадках?

Robots.txt файл , який порожній на насправді не відрізняється від того , що не знайшли, і не заборонити сканування.

Однак ви можете отримати багато 404помилок у своїх журналах сервера, коли сканери вимагають файл robots.txt , як зазначено в цьому запитанні тут .

Отже, чи безпечно просто видалити порожній robots.txt?

Так, із вищезазначеним застереженням.

Ні, різниці немає.

Ви отримаєте 404 помилки в журналі свого сервера, і якщо ви підписані на такі речі, як інструменти Google Web Master, це може сказати вам, що ви цього не отримали, але з точки зору поведінки робота-сканера - вони однакові для будь-який робот, який вас хвилює.