Чи може відносна URL-адреса сайту використовувати в robots.txt?

191

Чи можна в robots.txt написати наступну відносну URL-адресу для файлу мапи сайту?

sitemap: /sitemap.ashx

Або я повинен використовувати повну (абсолютну) URL-адресу для файлу мапи сайту, наприклад:

sitemap: http://subdomain.domain.com/sitemap.ashx

Чому я дивуюсь:

Я володію новою службою блогу, www.domain.com, яка дозволяє користувачам вести блог на accountname.domain.com.
Я використовую підстановку, тому всі субдомени (акаунти) вказують на: "blog.domain.com".

У blog.domain.com я розмістив robots.txt, щоб пошукові системи могли знайти мапу сайту. Але, завдяки подвійним знакам, всі облікові записи користувачів мають один і той же файл robots.txt. Тому я не можу використовувати другу альтернативу. І поки що я не можу використовувати перезапис URL-адрес для файлів txt. (Я думаю, що пізніші версії IIS можуть впоратися з цим?)

seo sitemap robots.txt

— Easyrider
джерело

318

Згідно з офіційною документацією на sitemaps.org, вона повинна бути повною URL-адресою:

Ви можете вказати розташування Sitemap, використовуючи файл robots.txt. Для цього просто додайте наступний рядок, включаючи повну URL-адресу до карти сайта:
Sitemap: http://www.example.com/sitemap.xml

— unor
джерело

31

Зверніть увагу, що в прикладі @ unor є: Карта сайту з великою літерою S. Це важливо, оскільки Robots.txt враховує регістри.

— BodgeIT

19

А на тему справи, robotstxt.org вказує файл, який повинен бути названий robots.txtбез великої столиці Р.

— khargoosh

якщо веб-сайт завантажується https, URL-адреса Sitemap, згадана з http. Це добре? Або нам потрібно розмістити URL-адресу мапи сайту на основі протоколу?

— Шамс

4

@Shams: URL-адреси, вказані у вашій мапі сайту, повинні використовувати той самий протокол і той самий хост, що і файл Sitemap. Якщо ваш веб-сайт доступний під http та https , ви повинні надати лише одну мапу сайту (з канонічним варіантом) .

— unor

2

Google-сканери недостатньо розумні, вони не можуть сканувати відносні URL-адреси, тому завжди рекомендується використовувати абсолютні URL-адреси для кращого сканування та індексації.

Тому не можна використовувати цю варіацію

> sitemap: /sitemap.xml

Рекомендований синтаксис є

Sitemap: https://www.yourdomain.com/sitemap.xml

Примітка:

Не забудьте написати велику літеру на "мапі"
Не забудьте розмістити місце після "Sitemap:"

— Діпак Матур
джерело

-2

Гарне технічне та логічне запитання мій дорогий друг. Ні у файлі robots.txt ви не можете перейти з відносною URL-адресою мапи сайту; вам потрібно перейти з повною URL-адресою мапи сайту.

Краще перейти з "sitemap: https://www.example.com/sitemap_index.xml "

У наведеній вище URL-адресі після двокрапки потрібно виділити пробіл. Мені також подобається підтримувати Deepak.

— cstpl123
джерело