У мене є динамічний сайт, який має багато (ну, менше 50) користувачів. Кожен користувач може створювати стільки сторінок, скільки хоче. Я знаю, що існує обмеження кількості сторінок, які ви можете перелічити в sitemap.xml, і наразі я перебуваю під цією межею, але я хотів би знати, який найкращий спосіб дозволити пошуковим системам знати (усі?) Про сторінки мого користувача, поки вони знаходяться під цією межею, навіть якщо я маю більше, ніж обмеження.
Відповіді:
Файли мапи сайту мають обмеження 50 000 URL-адрес і 10 мегабайт на мапі. Мапи сайту можна стиснути за допомогою gzip, зменшуючи споживання пропускної здатності. Підтримуються кілька файлів мапи сайту, а файл вказівника Sitemap служить точкою входу для загальної кількості 1000 Sitemap.
Зауважте, що у файлі robots.txt ви можете вказати кілька мап сайту :
Якщо ви стикаєтеся з обмеженням, можливо, якось поділіть своїх користувачів. Скажімо, у кожного з ваших користувачів не більше 10 000 URL-адрес, ви можете розбити їх на файли та додати це у свій robots.txtфайл:
Sitemap: http://www.example.com/sitemaps/users-001-005.xml
Sitemap: http://www.example.com/sitemaps/users-006-010.xml
Sitemap: http://www.example.com/sitemaps/users-011-015.xml
Sitemap: http://www.example.com/sitemaps/users-016-020.xml
Sitemap: http://www.example.com/sitemaps/users-021-025.xml
Sitemap: http://www.example.com/sitemaps/users-026-030.xml
Sitemap: http://www.example.com/sitemaps/users-031-035.xml
Sitemap: http://www.example.com/sitemaps/users-036-040.xml
Sitemap: http://www.example.com/sitemaps/users-041-045.xml
Sitemap: http://www.example.com/sitemaps/users-046-050.xml
Тепер ви все ще повинні пам’ятати про обмеження в 10 Мб для кожної окремої карти сайту, але це підхід для вирішення проблеми «занадто багато» URL-адрес.
Перегляньте файли CNN та Google, robots.txt щоб побачити декілька мап сайту.