Якщо я не хочу встановлювати особливих дій, чи це нормально, якщо я не намагаюся мати файл robots.txt?

29

Або нестача одного може бути шкідливою?

robots.txt

30

Відсутність файлу robots.txt не зашкодить. З веб-сайту robotstxt.org :

Щоб дозволити всім роботам повний доступ

Користувач-агент: *
Заборонити:

(або просто створіть порожній файл "/robots.txt" або взагалі не використовуйте його)

Однак, навіть якщо ви нічого не вказуєте у своєму файлі robots.txt, це хороший спосіб інформування пошукових систем про розташування вашої XML Sitemap . Це можна зробити, додавши рядок у верхній частині файлу robots.txt, який виглядає приблизно так:

Карта сайту: http://www.example.com/sitemap-host1.xml

Ви також повинні мати на увазі, що його відсутність створить багато 404 записів у ваших веб-журналах.

— JasonBirch
джерело

+1 - хороший підсумок, хоча я дійсно підкреслюю те, що Кінопіко вже правильно підкреслив : просто створіть найпростіший або навіть порожній, щоб уникнути 404-х сторінок і (залежно від обробки сторінок 404 на ваших сайтах), можливо, досить певного трафіку / пропускної здатності , оскільки пошукові системи застосовуватимуть правильний кеш-пам'ять HTTP, щоб пропустити завантаження файлу знову, якщо він не змінився, будь він порожнім чи ні.

— Steffen Opel

Позначена як вікі, редагуйте, як вважаєте за потрібне.

— JasonBirch

21

Якщо у вас немає "robots.txt", ваш журнал помилок отримає у файлі багато 404, що може стати певним роздратуванням, аналогічно тому, якщо у вас немає фавікону.

1

чудовий момент ..

— Джефф Етвуд

1

+1 - Я хотів би додати, що ви не просто врятуєте себе від більших і галасливих файлів журналів, але можете (залежно від обробки 404 сторінок ваших сайтів) уникнути потенційно досить певного трафіку / пропускної здатності через більшість 404 сторінок більший за простий robots.txtфайл, який на додаток завантажуватиметься рідше завдяки пошуковим системам, що застосовують належний контроль кеш-протоколу HTTP .

— Steffen Opel

6

Я думаю, що це повинно було б бути нормальним, інакше величезні павутини веб-павуків не можна буде індексувати.

Ні, robots.txtце не те саме, що "дозволити індексацію всім" robots.txtмайже за визначенням.

— Джефф Етвуд
джерело

2

Відсутність файлу robots.txt залишає його сканером вирішувати, що він може, а що не може робити. Оскільки для уникнення будь-якої неоднозначності потрібні лише секунди, чому б не зробити так, щоб всі агенти мали доступ до всього?

— Тім Пост
джерело

0

Ну, оскільки robots.txtміститься адреса вашої мапи сайту , відсутність її є потенційно шкідливою.

— Томас Боніні
джерело

sitemaps корисні лише для певних типів веб-сайтів, IMO

— Jeff Atwood

Я також бачив, як сканери (зокрема Google) шукають /sitemap.xml або /sitemap.gz за відсутності robots.txt

— Tim Post

Вам не потрібно мати свою мапу сайту у своєму robots.txt, ви можете будь-коли надіслати її в Google / Yahoo / Bing. Це точно не є "потенційно шкідливим".

— НевдоволенийGoat

0

Залежно від вашого вмісту не повинно виникнути проблем із тим, щоб не мати файлів роботів, якщо ви хочете, щоб кожна сторінка на вашому сайті була індексована пошуковими системами.

— seanl
джерело