Я використовую наступний рядок на <head>своїх сайтах протягом багатьох років:
<meta name="revisit-after" content="3 days" />
Нещодавно я виявив, що це не один із метатегів, які Google розуміє, що я маю на увазі, що немає сенсу включати його, і що він роблять взагалі нічого не корисного.
Як часто пошукові системи сканують веб-сайт за замовчуванням і які надійні способи збільшити або зменшити цю частоту?
Відповіді:
Ви можете контролювати, як швидко Google сканує ваш сайт в Інструментах Google для веб-майстрів .
Коефіцієнт сканування вашого веб-сайту визначає час, який Googlebot використовує для сканування вашого сайту під час кожного відвідування. Наша мета - ретельно просканувати ваш сайт (щоб ваші сторінки можна було проіндексувати та повернути в результати пошуку!), Не створюючи помітного впливу на пропускну здатність вашого сервера. Хоча більшість веб-майстрів добре використовують налаштування сканування за замовчуванням (тобто не потрібні зміни, докладніше про це нижче), деякі веб-майстри можуть мати більш конкретні потреби.
Googlebot використовує складні алгоритми, які визначають кількість сканування кожного веб-сайту, який він відвідує. Для переважної більшості сайтів, мабуть, найкраще вибрати варіант "Нехай Google визначить мій показник сканування", який є типовим. Однак якщо ви досвідчений користувач або у вас виникли проблеми з пропускною здатністю вашого сервера, ви можете налаштувати швидкість сканування до максимально оптимальної для вашого веб-сервера. Налаштована спеціальна швидкість сканування дозволяє вам надати Googlebot розуміння максимальної кількості запитів в секунду та кількості секунд між запитами, які, на вашу думку, є найкращими для вашого оточення.
Googlebot визначає діапазон значень швидкості сканування, які будуть доступні в Інструментах для веб-майстрів. Це ґрунтується на нашому розумінні можливостей вашого сервера. Цей діапазон може змінюватись від одного сайту до іншого та впродовж часу залежно від кількох факторів. Встановлення частоти сканування на значення нижче за замовчуванням може вплинути на охоплення та свіжість вашого сайту в результатах пошуку Google. Однак встановлення його на більш високе значення, ніж за замовчуванням, не покращить покриття чи рейтинг. Якщо встановити спеціальну швидкість сканування, нова ставка діятиме протягом 90 днів, після чого вона скидає рекомендоване значення Google.
Ви можете використовувати цей параметр лише для сайтів із рівнем кореневого типу та сайтів, що не розміщуються на великому домені, наприклад blogspot.com (для них призначені спеціальні налаштування). Щоб перевірити налаштування швидкості сканування, увійдіть до Інструментів для веб-майстрів та перейдіть на вкладку Налаштування. Якщо у вас є додаткові запитання, відвідайте Довідковий центр для веб-майстрів, щоб дізнатися більше про те, як Google сканує ваш сайт або публікуйте ваші запитання на довідковому форумі для веб-майстрів.
Крім того, що вам, ймовірно, доведеться створити власну систему фільтрації, яка нюхає їх користувацькі агенти і дозволяє або забороняє роботи пошукових систем, засновані на їх користувальницькому агенті. Але це вплине лише на зменшення їх частоти.
Щоб відповісти на другу частину вашого запитання, ви можете повідомити Google за допомогою Інструментів для веб-майстрів
Щоб змінити швидкість сканування:
На домашній сторінці Інструментів для веб-майстрів натисніть потрібний сайт.
У розділі Конфігурація сайту натисніть Налаштування.
У розділі Частота сканування виберіть потрібний варіант.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=uk
У FAQ про Bing він посилається на цей пост, який рекомендує встановити, Crawl-Delay: Xде x - це кількість секунд, які потрібно чекати між кожним запитом.
Звичайно, мапи сайту вказують на те, як часто змінюються сторінки.