Як я можу зупинити помилки 404 від накопичення сторінки "Без результатів"?

Нещодавно я помітив, що в Інструментах Google для веб-майстрів у мене зростає список помилок Soft4. Усі вони призначені для динамічно створених сторінок результатів пошуку, які повідомляють про "Не знайдено відповідностей".

Я дійсно розумію , що означає , що Google з допомогою Soft 404 і чому вони повідомляють про його для цих сторінок. Тому я додав <meta name="robots" content="noindex">до цих сторінок.

Однак Google все ще повідомляє про нові помилки Soft400 для сторінок, які використовують метатег noindex .

Чому Google повідомити будь-яку помилку на сторінці , я сказав їм , не індексувалась?

Проблема полягає в тому, що з усіма цими небажаними помилками я не можу зрозуміти, чи є реальні проблеми, які потрібно виправити.

Деякі казали, що ці сторінки повинні повертати код статусу 404. Але це просто перекладає проблему на вкладку помилок 404. Крім того, Google повертає код статусу 200 для своєї сторінки без результатів .

Я не хочу блокувати доступ через robots.txt, тому що я хочу, щоб посилання на цих сторінках виконувались, і я хочу, щоб Google бачив метатег noindex . Крім того, немає жодної схеми, яку я міг би використовувати для їх блокування.

Google знайшов ці URL-адреси в першу чергу через те, що раніше існував вміст, але згодом був видалений. Я не можу повернути код статусу 410, оскільки мій PHP-код не може знати причину, чому не знайдено результатів.

Чи можу я щось зробити, щоб полегшити побачення реальних проблем?

Ви повинні заборонити Google сканувати сторінки пошуку на сайті. Google не хоче , щоб сканувати ваш пошук по сайту на всіх . Ось допис про блог Метта Кеттса від Google: Результати пошуку в результатах пошуку від Matt Cutts 10 березня 2007 року . Зараз Google активно санкціонує сайти, які дозволяють сканувати результати пошуку на сайтах і відображатись у SERP-іх Google. Дозволяючи Googlebot сканувати сторінки ваших результатів пошуку, ви ризикуєте всім вашим трафіком рефералів Google. Один з улюблених трюків рецензента Google - використовувати пошук на вашому веб-сайті за такими термінами, як "віагра". Коли вони побачать як оброблювану сторінку (навіть якщо на ній написано "ніяких результатів для Віагри" не буде), вони застосовуватимуть вручну покарання проти вашого веб-сайту як спам-сайту.

Ви повинні встановити пошук свого сайту robots.txt. Просто переконайтеся, що Googlebot все ще може сканувати ваші сторінки вмісту. Потім ви перестанете отримувати нові повідомлення про 404 помилки.

Велика кількість помилок 404 (навіть м'які 404 помилки) не шкодять рейтингу вашого сайту. Google повідомляє про помилки на будь-якій сторінці, яку вони можуть знайти та просканувати, незалежно від того, чи хочете ви її проіндексувати, чи ви навіть посилаєтесь на неї. Вони роблять це, оскільки повідомлення про помилки - виключно для вашої користі, і вони вважають, що вас слід поінформувати.

Ось що про це має сказати Джон Мюллер від Google :

1. 404 помилки щодо недійсних URL-адрес жодним чином не шкодять індексуванню або ранжируванню вашого веб-сайту. Не має значення, чи є 100 чи 10 мільйонів, вони не зашкодять рейтингу вашого сайту. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. У деяких випадках помилки сканування можуть виникати з законної структурної проблеми на вашому веб-сайті або CMS. Як ти розповідаєш? Перевірте походження помилки сканування. Якщо на вашому веб-сайті є непрацездатне посилання, у статичному HTML вашій сторінці, це завжди варто виправити. (спасибі + Мартіно Мосна)
3. Що з прискіпливими URL-адресами, які "чітко зламані?" Коли наші алгоритми люблять ваш сайт, вони можуть спробувати знайти на ньому більше чудового вмісту, наприклад, намагаючись відкрити нові URL-адреси в JavaScript. Якщо ми спробуємо ці "URL-адреси" і знайдемо 404, це чудово і очікувано. Ми просто не хочемо пропустити нічого важливого (сюди вставляйте надмірно доданий мем Googlebot). http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. Вам не потрібно виправляти помилки сканування в Інструментах для веб-майстрів. Функція «позначити як фіксовану» лише допомогти вам, якщо ви хочете відслідковувати свій прогрес там; це не змінює нічого в нашому конвеєрі веб-пошуку, тому сміливо ігноруйте це, якщо він вам не потрібен. http://support.google.com/webmasters/bin/answer.py?answer=2467403
5. Ми перераховуємо помилки сканування в Інструментах для веб-майстрів за пріоритетністю, яка базується на кількох факторах. Якщо перша сторінка помилок сканування явно не має значення, ви, ймовірно, не знайдете важливих помилок сканування на інших сторінках. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. На вашому веб-сайті не потрібно «виправляти» помилки сканування. Пошук 404-х є нормальним і очікується від здорового, добре налаштованого веб-сайту. Якщо у вас є еквівалентна нова URL-адреса, то перенаправлення на неї є хорошою практикою. В іншому випадку ви не повинні створювати підроблений контент, не слід перенаправляти на свою домашню сторінку, ви не повинні robots.txt забороняти ці URL-адреси - все це ускладнює нам розпізнавання структури вашого веб-сайту та обробку його належним чином. Ми називаємо ці "м'які 404" помилки. http://support.google.com/webmasters/bin/answer.py?answer=181708
7. Очевидно - якщо ці помилки сканування відображаються для URL-адрес, які вас цікавлять, можливо, URL-адрес у вашому файлі Sitemap, то це те, на що слід негайно вжити заходів. Якщо Googlebot не може сканувати ваші важливі URL-адреси, вони можуть вийти з результатів пошуку, і користувачі також не зможуть отримати доступ до них.