Я запустив свій веб-сайт у січні 11 року, і він індексується в Google, що чудово - поки що вміщено близько 300 сторінок. Я намагаюся зрозуміти, що сталося зі статистикою сканування приблизно в кінці червня та на початку липня. Що спричинило масовий підйом? Що означає йти вперед? Чи є ще щось, що я повинен робити?
Відповіді:
Якщо ви відчуваєте, що вони переповнюють ваш сайт (можливо, навіть не вистачає більш глибокого вмісту), ви повинні переконатися, що заголовки HTTP повертають хороші значення для таких речей, як "остання зміна" часу тощо. Можливо, Googlebot завищує, наскільки зміниться ваш сайт. . Як бонус ваш сайт буде вести себе краще щодо кешування (будь то проксі чи браузер) і, таким чином, відчуватиметься трохи швидше.
Ви б добре вивчили, які URL-адреси скануються (переглядаючи журнали ваших серверів). Якщо вони повторно повторюють одну і ту ж URL-адресу, у вас, безумовно, є проблема. Поширений варіант для цього - якщо у вас є сторінка, яку можна відображати різними способами, використовуючи змінні запиту. Googlbot може спробувати сканувати всі можливі поєднання цих змінних.
Приклад, з яким я стикався як оператор сканування, - це сторінка, яка мала список із двадцяти заголовків, будь-яку комбінацію яких можна розширити. В основному на цій сторінці було 2 ^ 20 різних URL-адрес!
Переконайтесь, що Googlebot не зациклюється на повзанні однієї і тієї ж сторінки з тривіально різними параметрами (я бачив, як це потрапило в це)
Я думаю, Google змінює показник сканування з віком сайту, популярністю (посилання на ваш сайт), розміткою та заголовком, належними картами сайту тощо. Вони також змінили свій сканер деякий час тому, тому вміст тепер може з’являтися в результатах пошуку набагато швидше, ніж раніше (принаймні за 2 тижні до зміни).
Тож, коли я випустив свій блог 2 роки тому, на індексацію всього вмісту і тижнів на індексацію нових публікацій знадобилося Google місяців. Тепер я бачу будь-яку публікацію в результатах пошуку того ж дня, коли я публікую її.
Цей простий Google не любить нові сайти, але поважає старших.