Парадокс Sitemap

Ми використовуємо мапу сайту в Stack Overflow, але у мене є змішані почуття щодо цього.

Веб-сканери зазвичай виявляють сторінки за посиланнями на сайті та з інших сайтів. Мапи сайту доповнюють ці дані, щоб дозволити сканерам, які підтримують Sitemap, забрати всі URL-адреси на мапі сайту та дізнатися про ці URL-адреси, використовуючи пов’язані з ними метадані. Використання протоколу Sitemap не гарантує включення веб-сторінок у пошукові системи, але надає підказки веб-сканерам зробити кращу роботу щодо сканування вашого сайту.

На основі нашого дворічного досвіду роботи з картами сайту є щось принципово парадоксальне щодо карти сайту :

1. Мапи сайту призначені для сайтів, які важко сканувати належним чином.
2. Якщо Google не може успішно сканувати ваш сайт, щоб знайти посилання, але він може знайти його в мапі сайту, він надає посилання на мапу сайту без ваги і не буде його індексувати!

Це парадокс мапи сайту - якщо ваш сайт неправильно не сканується (з будь-якої причини), використання мапи сайту не допоможе вам!

Google виходить із шляху, щоб не надавати жодних гарантій мапи сайту :

«Ми не можемо робити ніяких прогнозів або гарантії щодо того, коли або якщо URL - адреса скануватиметься або доданий в наш індекс» цитати

"Ми не гарантуємо, що ми скануватимемо чи індексуватимемо всі ваші URL-адреси. Наприклад, ми не скануватимемо чи не вказуватимемо URL-адреси зображень, що містяться у вашій мапі сайту." цитування

«Подавши Sitemap не гарантує , що всі сторінки вашого сайту будуть проглядатися або включені в результатах пошуку» Цитування

Зважаючи на те, що посилання, знайдені на мапах сайтів, є лише рекомендаціями , тоді як посилання, знайдені на власному веб-сайті, вважаються канонічними ... здається, єдине логічне завдання - це уникати мапи сайту та переконатися, що Google та будь-яка інша пошукова система можуть належним чином павук свого сайту, використовуючи звичайні старі стандартні веб-сторінки, які бачать усі інші.

На той час , як ви зробили , що , і отримувати хороші і індексацію ретельно , щоб Google можна побачити , що ваша власний сайт посилання на ці сторінки, і були б готове повзати посилання - ну, навіщо нам потрібен карта сайт, знову ж ? Карта сайту може бути активно шкідливою, оскільки відволікає вас від того, щоб павуки пошукової системи могли успішно просканувати весь ваш сайт. "О, неважливо, чи сканер може це бачити, ми просто ляпаємо ці посилання в мапі сайту!" Реальність є в нас зовсім протилежною.

Це здається більш ніж трохи іронічним, враховуючи, що карти сайту були призначені для сайтів, які мають дуже глибоку колекцію посилань або складний інтерфейс, який може бути важким для павука. На наш досвід, мапа сайту не допомагає, оскільки якщо Google не зможе знайти посилання на вашому веб-сайті належним чином, він все одно не індексує його з мапи сайту. Ми перевіряли це ще раз і знову із запитаннями щодо переповнення стека.

Я помиляюся? Чи мають сенс карти сайту, і ми якось просто їх неправильно використовуємо?

Відмова: Я працюю разом з командою Sitemaps в Google, тому я дещо упереджений :-).

На додаток до того, що ми широко використовуємо Sitemap для контенту "не-веб-індексу" (зображення, відео, новини тощо), ми використовуємо інформацію з URL-адрес, що містяться у файлах Sitemap, для цих основних цілей:

• Відкриття нового та оновленого вмісту (я думаю, це очевидний, і так, ми також збираємо та індексуємо інакше не пов’язані URL-адреси звідти)
• Розпізнавання бажаних URL-адрес для канонізації (є й інші способи впоратися з канонізацією )
• Надання корисної індексованої кількості URL-адрес в Інструментах Google для веб-майстрів (наближення від сайту: -запити не можна використовувати як показник)
• Створення основи для корисних помилок сканування (якщо URL-адреса, що міститься у файлі Sitemap, має помилку сканування, зазвичай це більша проблема та відображається окремо в Інструментах для веб-майстрів)

Що стосується веб-майстрів, я також знайшов файли Sitemaps надзвичайно корисними:

• Якщо ви використовуєте сканер для створення файлу Sitemaps, ви можете легко перевірити, чи є ваш сайт скануваним, і з перших рук побачити, які URL-адреси знайдені. Чи шукач шукає вибрані URL-адреси чи щось неправильно налаштовано? Чи гусениця застрягає в нескінченних просторах (наприклад, нескінченних сценаріях календаря) десь? Чи може ваш сервер впоратися з навантаженням?
• Скільки сторінок насправді має ваш сайт? Якщо файл Sitemap "чистий" (без дублікатів тощо), це легко перевірити.
• Чи справді ваш веб-сайт чітко сканує, не натрапляючи на повторюваний вміст? Порівняйте журнали сервера, залишені Googlebot, з вашим файлом мапи сайту - якщо Googlebot сканує URL-адреси, які не містяться у вашому файлі Sitemap, можливо, вам потрібно двічі перевірити внутрішнє посилання.
• Чи у вашого сервера виникають проблеми з улюбленими URL-адресами? Перехресна перевірка журналу помилок вашого сервера з URL-адресами Sitemaps може бути дуже корисною.
• Скільки ваших сторінок насправді індексується? Як згадувалося вище, ця кількість відображається в Інструментах для веб-майстрів.

Зрозуміло, для дійсно невеликих, статичних, легко оброблюваних сайтів використання сайтів Sitemaps може бути непотрібним з точки зору Google після того, як сайт буде сканований та індексований. Щодо іншого, я б дуже рекомендував їх використовувати.

FWIW Є декілька помилок, які я також хотів би розкрити:

• Файл Sitemap не призначений для "виправлення" проблем сканування. Якщо ваш сайт неможливо сканувати, виправте це спочатку .
• Ми не використовуємо файли Sitemap для ранжирування.
• Використання файлу Sitemap не зменшить наше звичайне сканування вашого сайту. Це додаткова інформація, а не заміна сканування. Аналогічно, відсутність URL-адреси у файлі Sitemap не означає, що він не буде індексований.
• Не шуміть за метаданими. Якщо ви не можете надати корисні значення (наприклад, для пріоритету), залиште їх і не хвилюйтеся з цього приводу.

Якщо ви знаєте, що у вас хороша архітектура веб-сайтів, і Google знайде ваші сторінки, природно, єдиною перевагою, про яку я знаю, є швидше індексування, якщо ваш сайт індексується досить швидко, тоді вам не потрібно.

Ось стаття з 2009 року, де джентльмени перевіряли, наскільки швидко Google сканував його сайт за допомогою мапи та без. http://www.seomoz.org/blog/do-sitemaps-effect-crawlers

Моє правило - якщо ви запускаєте щось нове і неперевірене, ви хочете побачити, як Google сканує ваш сайт, щоб переконатися, що немає нічого, що потрібно виправити, тому не надсилайте заявки, якщо ви вносите зміни та хочете Google бачить їх швидше, а потім надсилайте або якщо у вас є інша таємна інформація, як-от найновіші новини, а потім надсилайте, тому що ви хочете зробити все, що ви можете, щоб переконатися, що ви першим бачить Google, інакше це питання переваги.

Підозрюю: для Google потрібні мапи сайту, щоб слідкувати за оновленнями якнайшвидшим способом. Скажімо, ви додали новий вміст до глибокого розташування свого веб-сайту, на який потрібно дістати більше 10-20 кліків з вашої домашньої сторінки. Досягнення цієї нової сторінки від Google було б менш ймовірним за короткий час - тому замість цього, поки шлях до цієї сторінки не буде визначений остаточно, оголошується про існування її. Зрештою, PageRank обчислюється не відразу, він вимагає часу, щоб оцінити поведінку користувачів, і так - до цього часу, чому движок не повинен сканувати та не індексувати сторінку зі свіжим вмістом?

Мапи сайтів неймовірно цінні, якщо ви правильно їх використовуєте.

По-перше, той факт, що Google стверджує, що вони є підказками, є лише а) гарантувати, що веб-майстри не знаходяться під помилковим враженням, що мапа сайту = індексація та б) дають Google можливість ігнорувати певні карти сайту, якщо вони вважають їх ненадійними ( aka lastmod - поточна дата для всіх URL-адрес кожного дня, до яких вони мають доступ.)

Однак Google, як правило, любить і споживає мапи сайту (адже вони іноді знайдуть власні та додадуть їх до Інструментів Google для веб-майстрів). Чому? Це підвищує ефективність, з якою вони можуть повзати.

Замість того, щоб починати з насіннєвого сайту та сканувати Інтернет, вони можуть виділити відповідну суму свого бюджету для сканування на сайт на основі поданих мап сайту. Вони також можуть створити велику історію вашого сайту з пов'язаними даними про помилки (500, 404 тощо)

Від Google:

"Googlebot сканує Інтернет, переходячи посилання з однієї сторінки на іншу, тому якщо ваш сайт недостатньо пов'язаний, нам може бути важко виявити його."

Що вони не кажуть, це те, що сканування Інтернету займає багато часу, і вони вважають за краще мати шпаргалку (він же мапа сайту).

Звичайно, з точки зору сканування ваш сайт може бути чудовим, але якщо ви хочете ввести новий вміст, опускання цього вмісту в мапу сайту з високим пріоритетом - це швидший спосіб сканування та індексації.

І це працює і для Google, оскільки вони хочуть швидко, швидко сканувати та індексувати новий вміст. Тепер, навіть якщо ви не думаєте, що Google віддає перевагу пробитому шляху перед мачете на підходах до джунглів, є ще одна причина, чому мапи сайтів є цінними - відстеження.

Зокрема, за допомогою індексу Sitemap (http://sitemaps.org/protocol.php#index) ви можете розбити свій сайт на розділи - sitemap на sitemap. Роблячи це, ви зможете потім переглянути рівень індексації вашого сайту за секцією.

Один розділ або тип вмісту може мати 87% коефіцієнта індексації, а інший - 46%. Тоді ваша робота з'ясувати, чому.

Щоб отримати повне використання мап сайту, ви хочете відслідковувати сканування Googlebot (та Bingbot) на вашому веб-сайті (через веб-журнали), підходити до них на ваші мапи сайту, а потім прослідкувати все за цим трафіком.

Не лягайте спати на мапах - інвестуйте в них.

Словами Google: "У більшості випадків веб-майстри отримують користь від подання Sitemap, і ні в якому разі за вас не буде накладено штраф".

Але я погоджуюся, що найкраще, що ви можете зробити, якщо ви хочете, щоб сторінки вашого веб-сайту з’являлися в пошукових системах, - це переконатися, що вони скануються з належного сайту.

Я вважаю, що пошукові системи використовують мапу сайту не стільки для пошуку сторінок, скільки для оптимізації того, як вони часто перевіряють їх на оновлення. Вони дивляться на <changefreq>і <lastmod>. Google, ймовірно, дуже часто павучить весь веб-сайт (перевіряйте ваші журнали!), Але не всі пошукові системи мають ресурси для цього (хтось спробував Blekko ?). У будь-якому випадку, оскільки за їх використання немає штрафу, і вони можуть бути створені автоматично і легко, я б продовжував це робити.

якщо вас хвилює ця тема, будь ласка, прочитайте цей чудовий документ Google google http://googlewebmastercentral.blogspot.com/2009/04/research-study-of-sitemaps.html (квітень 2009 р.) - прочитайте повний документ, а не лише допис у блозі .

з паперу

• нормально, в основному Google боровся з тим же питанням.
• вони не розголошують, як вони визначають значення в мапі сайту, але згадують про концепцію віртуального посилання від стартової сторінки до мапи сайту.
• багато іншого цікавого

але так, мапа сайту використовується в основному для виявлення (процес пошуку Google за вашими речами), а не для визначення вартості. якщо ви боретеся з відкриттям, використовуйте мапу сайту. виявлення є передумовою повзання, але не стосується визначення значення.

з мого досвіду

• Є sh * tload сайтів, які просто використовують HTML і XML мапи сайту для переплетення своїх сторінок
• і з них карта сайту XML набагато краще сканується, ніж HTML-карта сайту. (Я по-справжньому добре поглянув на деякі дійсно великі)
• є навіть дуже успішні сайти, які просто використовують файл XML.

коли я реалізую стратегію SEO для сайту, на якому розміщено більше півмільйона сторінок

• посадочні сторінки
• sitemap.xml
• початкова сторінка

все інше - лише "баласт" - так, інші речі можуть мати позитивне значення SEO, але, безумовно, мають негативне значення: це ускладнює управління сайтом. (ps: для визначення вартості я з'єдную цільові сторінки на чутливий спосіб (великий вплив), але це вже другий крок).

щодо вашого питання: будь ласка, не плутайте виявлення, сканування, індексацію та ранжирування. ви можете відстежувати їх усі окремо, і ви можете оптимізувати їх окремо. і ви можете покращити розкриття та сканування головним чином за допомогою чудової (тобто в реальному часі) мапи сайту.

Мапи сайту можуть зберегти вашу дупу.

На одному з моїх сайтів я маю велику кількість посилань, за допомогою яких пошукові системи не дозволяють паяти. Якщо коротко розповісти, Google неправильно інтерпретував JS на моєму форумі та викликав безліч 500 та 403 кодів відповідей, які, на мою думку, впливають на позицію сайту. Я працював над цим, виключаючи проблемні URL-адреси через robots.txt.

Одного разу я заплутався і зробив щось, що заважало Google просканувати деякі сторінки на цьому веб-сайті, які я дуже хотів проіндексувати. Через виключення з форуму в розділі "Помилка роботів.txt" в Інструментах для веб-майстрів розміщено понад 4000 сторінок, тому я б не підбирав цю помилку, поки не стало занадто пізно.

На щастя, оскільки всі "важливі" сторінки на моєму сайті знаходяться на мапах сайтів, мені вдалося швидко виявити цю проблему в спеціальній категорії помилок, яку мають Інструменти для веб-майстрів для проблем зі сторінками в мапах сайтів.

Як осторонь, я також отримую велику користь від використання індексу Sitemap для визначення якості індексації різних розділів моїх сайтів, як згадував @AJ Kohn.

Я сам не стикався з цим, але більшість моїх проектів - це додатки або сайти, які в іншому випадку вимагають облікових записів користувачів, тому індексація пошуковими системами не є зосередженою.

Однак, я чув, що SEO в основному робить сайти марними. Якщо ви подивитесь на протокол, це свого роду "система честі", яка дозволяє визначити, як часто змінюється сторінка і який відносний пріоритет кожної сторінки. Цілком очевидно, що SEO-фірми з десятками разів зловживають полями - кожна сторінка є першочерговим завданням! кожна сторінка змінюється щогодини! - і карти сайту фактично марні.

Ця стаття з 2008 року в основному говорить про те, що, схоже, приходить до того ж висновку, що і ви: карта сайту досить непотрібна, і вам краще оптимізувати вміст, який буде індексуватися, і викопати мапу сайту.

Нехай повзає.

Я роблю наступне:

1. змусити сайт обробляти по-старому.
2. переконайтеся, що у мене є robots.txt із зазначенням мапи сайту.
3. створити файл XML, але не надсилати. Дозвольте сканеру відкривати його та використовувати за потребою в рамках свого процесу виявлення та індексації.

Я генерую розширений XML-файл, який служить базою для багатьох речей:

• Створення HTML-карти сайта
• Допоможіть на сторінці 404 (не знайдено)
• Допоможіть з іншими крихітними завданнями, такими як створення сухарів або отримання метаданих у моїй схемі «Фасад» для сторінки.

Отже, у мене все це є, чому б не обслуговувати також XML-файл Sitemap і не дозволяти сканеру робити те, що він хотів би зробити, якщо він хотів би це зробити?

Джефф, я не маю уявлення про Stackoverflow, тому що я ніколи в житті не мав можливості бути веб-майстром такого величезного і так часто оновлюваного веб-сайту.

Для невеликих веб-сайтів, які часто не змінюються, я думаю, що карта сайту є дуже корисною (не кажучи про те, що карта сайту - це найважливіше, але досить корисно, так) з двох причин:

1. Сайт швидко сканується (з тієї ж причини, поясненої відповіддю Йошака вище ), і, маючи малий досвід, я багато разів помічав це на невеликих сайтах (до 30/50 сторінок)

2. Через кілька тижнів я надсилаю мапу сайту, я переглядаю "Інструменти Google для веб-майстрів - Sitemap" і бачу кількість URL-адрес, поданих у мапі сайту VS, кількість URL-адрес у веб-індексі . Якщо я бачу, що вони однакові, то добре. Інакше я можу негайно перевірити на своїх веб-сайтах, які сторінки не індексуються та чому.

Про це (спочатку?) Рандфіш писав у SEOmoz ще в старий добрий рік 2007 року. Перший раз він прийшов до тих же висновків, але потім час зробив це, що було ... і минув.

З того часу (січень 2009 р.) Він додав до статті постскрипт, вказуючи, що будь-які можливі недоліки просто переважуються загальними позитивними результатами створення, перевірки та подання мапи сайту.

Оновлення 5 січня 2009 р. - Я насправді суттєво передумав цю пораду. Так, мапи сайту все ще можуть затьмарити архітектурні проблеми, але, враховуючи досвід, який я мав протягом останніх 1,5 років, я зараз рекомендую всім нашим клієнтам (і майже всім іншим, хто просить) подати мапи сайтів. Позитивні показники сканування, індексації та трафіку просто переважують мінуси.

Я вважаю, що в наші дні SiteMaps служать лише двом цілям:

• Вони дозволяють зменшити частоту павуки, щоб полегшити навантаження сервера. Це насправді не повинно бути проблемою для більшості сайтів.
• Вони можуть допомогти відновити те, що пошукова система вже знає про вас. Перерахування назв сторінок і очевидно додавання відповідної ваги до кожної сторінки допомагає пошуковій системі перевірити власні показники для ранжування архітектури вашого сайту.

НЕ використовуйте сайти

Мапи сайту - це в основному для сайтів, які не позначають покажчики часу та вузли .... SE робить і те, і для цього основним вмістом, тому наявність карти Sitemap сповільнить сканер вниз ... Так, це правильно, це сповільнить його, тому що карта сайту не вистачає метаданих, які мають основні індекси. На зворотному боці я не маю реального уявлення про те, як Google будує боти, просто знаю, якби я збирався перейти на бот SE, я НЕ використовую мапу сайту. Плюс, деякі сайти навіть не помічають, що всі їхні мапи сайту всі%! @ $ - і якщо ви створили профіль на мапі сайту, це раптом не працює, і вам доведеться створити новий профіль за допомогою реальний сайт.

Отже, ви маєте рацію - НЕ ВИКОРИСТОВУЙТЕ САЙТЕМАПИ!

Порада. Одне, що вам слід зробити, - це максимально зберегти семантику тегів з часом, тобто якщо "Запитаний за одну годину" має вбудовані в неї метадані, наприклад:

title="2010-11-02 00:07:15Z" class="relativetime"

ніколи не змінюйте ім'я рядка relativetime, якщо тільки значення даних у ньому titleне змінилося. НІКОЛИ ... :-)

Нещодавно я реструктурував сайт, над яким я все ще працюю. Оскільки я не мав хорошого способу зв’язати 500 000 сторінок, щоб допомогти користувачам, я вирішив використати файл sitemap XML і надіслати його в Google та використати пошук на сайті. Раніше Google не мав проблем із індексуванням мого сайту, проте, оскільки додав мапу сайту, Google дуже агресивно сприймає мій сайт та індексує сторінки надзвичайно швидко. Google використовував мапу сайту для пошуку нових сторінок (близько 3300 на тиждень) та перегляду оновлених сторінок. Це була справжня перемога в моїй книзі. Я все ще хочу знайти новий спосіб пов’язати свої сторінки та використовувати AJAX для пошуку, але це проект для іншого дня. Все йде нормально! Це було гарним рішенням для мене. Все і все, я здобув і не втратив. Що цікаво, оскільки я завжди вважав, що карти сайту насправді можуть бути кориснішими, але обмежені її дизайном.

Я чув, що мапи сайту швидше ставлять ваші сторінки в додатковий покажчик. Але я навіть не чув додаткового індексу, згаданого у віках, тому вони, можливо, більше не використовують його.

PS на випадок, якщо моє твердження недостатньо чітке, тому що в додатковому індексі є (або було) БАД… тому карта сайту є (або була) БАДА.

Ми використовуємо мапи сайту (не подані до пошукових систем, але пов’язані між собою robots.txt) переважно для того, щоб переконатися, що домашня сторінка є найвищою <priority>. Я не впевнений, чи мають вони багато іншого використання.

Я не погоджуюся з тим, що google не буде індексувати посилання лише для sitemapped. У мене є чимало сайтів, на яких є сторінки, доступні лише через мапи сайту, і Google індексує їх без проблем. Я можу навести багато прикладів цього.

Добре побудований сайт не потребує мапи сайту, хоча він може допомогти з нашим покриттям та рейтингом та додає трохи додаткового значення, наприклад, пріоритет, частота оновлення тощо. Ви можете сказати пошуковій службі ... ей, я оновив цю сторінку десь посередині мого сайту, не потребуючи повного сканування. Я ніколи не дивився на схеми сканування, але можна було б сподіватися, що це допомогло.

Сказавши, що справжній плюс для мене - це інструменти для веб-майстрів та розуміння, яке воно дає вам у видимості вашого веб-сайту та ваших користувачів.