Чому Google зупинив індексацію сторінок у нашому sitemap.xml?

Ми бачимо деякі сторінки, які існують у нас, sitemap.xmlале вони незрозуміло відсутні в загальнодоступному індексі пошуку Google.

Ви не можете завантажити /superuser//sitemap.xml - ми захищаємо цей файл, оскільки з ним були проблеми в минулому, - але googlebot може. Ми за допомогою Інструментів Google для веб-майстрів перевірили, що sitemap.xmlфайл було знято сьогодні та його оцінено ОК без помилок (зелена галочка).

sitemap.xmlМістить список останніх 50000 питань на нашому сайті , які були задані. Наприклад, це питання ...

/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links

... існує в sitemap.xml...

<url>
<loc>/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc>
<lastmod>2010-10-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.2</priority>
</url>

Пошук "Як побачити кінець довгого ланцюга символічних посилань" дає лише один результат на upithub.com, який викреслює наші дані (зовсім інша проблема).

Ви можете збільшити кількість підрахунку питань і здійснити точний пошук назви питання, і ви побачите, що ця модель зберігається.

Ці URL-адреси містяться в sitemap.xml, але вони не відображаються в індексі Google - і все ж вони відображаються на сайтах, які викреслюють наші дані про творчі спільноти. Чому це було б?

Схоже, що у Google на цьому тижні були проблеми з технічним скануванням, які виглядають надзвичайно схоже на те, що ми відчували:

http://searchengineland.com/is-google-broken-sites-big-small-seeing-indexing-problems-53701

Здається, ніхто не застрахований від проблеми індексації Google, яка має безліч власників сайтів. Блоги та великі та маленькі веб-сайти не індексуються так швидко, як зазвичай - якщо вони взагалі індексуються.

...

Джон з Google відповів на тему на форумах для веб-майстрів:

Щоб було зрозуміло, проблеми з цієї теми, які я детально розглянув, не пов'язані зі змінами в нашій політиці або змінами в наших алгоритмах; вони пов’язані з технічною проблемою з нашої сторони, яка буде видимо вирішена якнайшвидше ( можливо, це може зайняти до декількох днів, щоб бути видимими для всіх сайтів)

Google не надає жодних пропозицій і не гарантує, що сторінки в мапі сайту будуть індексовані.

Мій досвід полягав у тому, що для відображення сторінки потрібно пов’язати (зі сторінки певного органу). Чи пов’язана ця сторінка / питання безпосередньо / опосередковано зі сторінкою з якоюсь владою?

Наприклад, якщо домашня сторінка superuser.com (яка, імовірно, має багато посилань), безпосередньо пов'язана з цим питанням або посилається на неї опосередковано через ряд інших сторінок, то можна очікувати, що вона буде індексована.

Від google:

Google не гарантує, що ми скануватимемо чи індексуватимемо всі ваші URL-адреси. Однак ми використовуємо дані у вашій мапі сайту, щоб дізнатися про структуру вашого веб-сайту, що дозволить нам покращити графік роботи сканерів та покращити роботу над веб-сайтом у майбутньому. У більшості випадків веб-майстри отримають вигоду від подання Sitemap, і ні в якому разі ви не будете штрафовані за це.

http://www.google.com/support/webmasters/bin/answer.py?hl=uk&answer=156184

Я думаю, що в Google може бути важко індексувати ваші веб-сторінки, 50 000 - це багато. Тож моєю пропозицією було б поділити вашу мапу сайту на такі шматочки

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>

Якщо ви поділите, вам буде більше шансу індексувати ці 50 000 URL-адрес.

Пояснення проблеми на Sitemaps.org

Ви можете надати кілька файлів Sitemap, але кожен файл Sitemap, який ви надаєте, повинен мати не більше 50 000 URL-адрес і не повинен перевищувати 10 МБ (10 445 760 байт). Якщо ви хочете, ви можете стиснути файли Sitemap за допомогою gzip, щоб зменшити вимогу пропускної здатності; однак файл мапи після одноразового стискання не повинен перевищувати 10 Мб. Якщо ви хочете перерахувати більше 50 000 URL-адрес, ви повинні створити кілька файлів Sitemap.

Якщо ви надаєте кілька Sitemap, вам слід перелічити кожен файл Sitemap у файлі індексу Sitemap. Файли покажчиків Sitemap не можуть містити більше 50 000 мап сайтів і не повинні перевищувати 10 Мб (10 445 760 байт), і їх можна стискати. Ви можете мати кілька файлів індексу Sitemap. Формат XML файла індексу Sitemap дуже схожий на формат XML файлу Sitemap.

http://sitemaps.org/protocol.php

Схоже, Google заявляє, що 46 514 поданих посилань є в індексі. Чи може це бути проблемою з (ненавиджу це говорити), але з ранжуванням сторінки? Сайти для вискоблювання, можливо, роблять кращу роботу з перехресними зв'язками тощо і займають вище. Просто думка.

Цей веб- сайт пошуку : superuser.com Як побачити кінець довгого ланцюга символічних посилань, також здається, що ви правильно отримуєте файл sitemap.xml, хоча і не повертає очікуваних результатів.

З цим типом речі є багато потенційних відповідей.

Я б почав із запитання, скільки у вас насправді сторінок. (ви швидко подали 50 000 URL-адрес: superuser.com показує 125 000 проіндексованих. Ви думаєте, що у вас є лише 50K URL-адрес, і ви подаєте їх усі, але Google знаходить 2-3 копії кожної сторінки? Або, можливо, у вас є 1Mil URL-адреси і лише 12,5 % отримують індексацію) отримання великої картини допомагає направити, де шукати проблеми.

Якщо з першого кроку нічого не здається, я перейду до контенту, це виглядає так, що QH має набагато більше вмісту на своїй сторінці та пов’язує багато інших "ресурсів", незважаючи на те, що весь їхній вміст скреблено, можливо, Google вважає їх сторінка корисніша, оскільки вони надають більше ресурсів / інформації користувачеві. Якщо вони вважатимуться авторитетом, а весь ваш вміст буде таким самим, можливо, Google не індексує ваш, навіть якщо ви оригінал.

Якщо ви переконані, що це не проблема, побудуйте якісь посилання на неї високої якості, опублікуйте це запитання в деяких популярних блогах співробітників або попросіть деяких друзів вести блог про це, можливо, якщо у вас є друзі з SEO, які ведуть популярні блоги, вони написали б тематичний приклад про це тощо.

Якщо у вас є багато надійних посилань, і все ще не отримуєте індексований вигляд з причин, це може бути санкціоновано (у більшості випадків це не буде проблемою, але це ніколи не боляче перевірити).

Якщо нічого з цього не працює, то 9 разів з 10 - це просте технічне питання, яке не помічено (виключення роботів чи щось подібне).

Якщо у вас все ще немає відповіді після проходження цього питання, попросіть Google і сподівайтеся, що вони отримають вам відповідь.

Щойно вчора було задане питання - дайте шанс googlebot, ви не єдиний сайт в Інтернеті, який йому доводиться сканувати, знаєте :)

Якщо питання, як правило, індексуються протягом дня або близько того, а тиждень проходить, а це все ще не індексується, то я можу бути занепокоєний. Але точно не через 1 день.