Як працює “Noindex:” у robots.txt?

Сьогодні я зіткнувся з цією статтею у своїх новинах щодо SEO. Здається, це означає, що ви можете використовувати Noindex:директиви на додаток до стандартних Disallow:директив у robots.txt .

Disallow: /page-one.html
Noindex: /page-two.html

Схоже, це не дозволить пошуковим системам сканувати сторінку першу, а також заважає індексувати сторінку другу.

Чи підтримується ця директива robots.txt від Google та інших пошукових систем? Це працює? Це документально підтверджено?

— Стівен Остерміллер
джерело

Я не знаю ... але це може бути дуже корисним для деяких. Крім того, я хотів би, щоб карта сайту була розширена, щоб бути більш комунікативною. Між роботами та мапами сайту це має бути прекрасною можливістю спілкуватися з пошуковими системами та іншими про сайт. Я також прихильник текстової можливості інформувати пошукові системи про сайт іншим способом, окремо від доступного в пошуку, наприклад, про сторінку, як якщо б у вас була можливість поговорити безпосередньо з рецензентом сайту Google. Це може врятувати деякі болі в серці та непорозуміння. Шанс сказати Ооопппссс, я поблукав- Вибачте.

— closetnoc

Мені здається, що disallowGoogle зупиняє виявлення посилань на батьківських та дочірніх сторінках, якщо такі існують. Незважаючи на те, що noindexпросто зупиняє перелік сторінки, вона не зупиняє відкриття, але забороняє робити це.

— Саймон Хейтер

@SimonHayter Я знаю, що так nofollowпрацює метатегів. Було б непогано дізнатися, чи так це і для robots.txt .

— Стівен Остерміллер

Привіт @StephenOstermiller не тільки метатеги, це те ж саме <a rel="no-follow">. Я не бачу жодної причини, щоб це ставилося б інакше. Очевидно, це не офіційно, і навіть рекомендував Джон Мюллер не використовувати його в robots.txt, окрім його твіту, мені не вдалося знайти багато інформації про нього.

— Саймон Хейтер

Варто зазначити, що Google більше не позначає Noindexдирективу у robots.txtфайлах як помилку.

— Аран

Google неофіційно підтримував Noindexдирективу в robots.txt, проте в 2019 році вони оголосили, що директива більше не працюватиме.

Ось що говорить Джон Мюллер відNoindex: Google в robots.txt :

Ми використовували для підтримки директиви no-index в robots.txt як експериментальну функцію. Але це те, на що я б не покладався. І я не думаю, що інші пошукові системи взагалі використовують це.

Перед тим, як Google оголосив, що функцію припинено, deepcrawl.com провів тестування цієї функції та виявив, що:

До 2019 року він все ще працював з Google
Це запобігло появі URL-адрес у пошуковому індексі
URL-адреси, які не були додані в robots.txt , позначені як такі в Пошуковій консолі Google

Зважаючи на те, що Google припинив цю функцію, її більше не слід використовувати.

Натомість використовуйте робочі метатеги, які добре підтримуються та документально підтверджені для запобігання індексації:

<meta name="robots" content="noindex" />

— Стівен Остерміллер
джерело