Чи варто включати все до мапи сайту чи лише новий вміст?

На веб-сайті з динамічним контентом (постійно додається новий вміст) я повинен включати лише найновіший вміст у мапу сайту чи повинен я включати все (з покажчиком мапи сайту)? Назвіть найкращі практики для веб-сайтів esp. для великих сайтів?

Крім того, чи можна зробити Google (та інші пошукові системи) лише сканування сторінок у мапі сайту?

Спасибі

Оновлення:
Також, будь-яка ідея, як stackoverflow впорається з цим? Мені хотілося б знати, але, на жаль (також розуміючи ), вони заблокували доступ до своєї карти сайту.

seo sitemap

— Мей
джерело

Наскільки великий сайт? Існує обмеження розміру як для robots.txt, так і для мапи сайту. Дивно, але багато хто перевищує обидва, тому я і запитую.

— Тім Пост

@Tim, поки що це не дуже багато (усе може вміститися в одній мапі), але я намагаюся планувати заздалегідь.

— Mee

Включити всі сторінки. Мета сайту XML - розповісти пошуковим системам про весь ваш вміст. Не тільки нові речі.

З веб-сайту sitemaps.org (мій акцент):

Мапи сайту - це простий спосіб для веб-майстрів інформувати пошукові системи про сторінки на своїх сайтах, доступні для сканування .

Якщо у вас багато вмісту, ви можете використовувати декілька мап сайтів XML .

Якщо у вас є вміст, який ви не хочете сканувати чи індексувати, потрібно спеціально сказати пошуковим системам не сканувати та індексувати ці сторінки. Використовуйте файл robots.txt, щоб заблокувати будь-які сторінки чи каталоги, які ви не хочете сканувати. Ви також можете використовувати метатег для цього. Але ви не можете вказати у мапі сайту XML, щоб не сканувати сторінки, що не потрапляють у список.

— Джон Конде
джерело

Дякую за вашу відповідь, я включу все у мапу сайту.

— Mee

У вас є вікно, яке може обробляти 50 + k сторінок?

Чи є ці 50k + сторінок у базі даних?

— Джон Конде

Не потрібно розміщувати кожну сторінку свого сайту у мапі сайту. Карта сайту корисна для інформування пошукових систем про сторінки, доступні для сканування. Якщо пошукова система вже може бачити кожну сторінку, яку можна сканувати, а ви не додаєте інформацію про "останню зміну", то немає жодної причини її мати.

— Джанго Райнхардт

Ця відповідь дещо суперечить веб-майстрам.stackexchange.com/ a/5151/ 30596 . Цитуючи @John Mueller від Google,

Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.

— користувач