Запитання з тегом «robots.txt»

Чи можна в robots.txt написати наступну відносну URL-адресу для файлу мапи сайту? sitemap: /sitemap.ashx Або я повинен використовувати повну (абсолютну) URL-адресу для файлу мапи сайту, наприклад: sitemap: http://subdomain.domain.com/sitemap.ashx Чому я дивуюсь: Я володію новою службою блогу, www.domain.com, яка дозволяє користувачам вести блог на accountname.domain.com. Я використовую підстановку, тому всі субдомени …

191 seo  sitemap  robots.txt 

My robots.txtin Google Webmaster Tools показує такі значення: User-agent: * Allow: / Що це означає? У мене недостатньо знань про це, тому шукаю вашої допомоги. Я хочу дозволити всім роботам сканувати мій веб-сайт, це правильна конфігурація?

116 robots.txt 

Чи є якесь розумне рішення для зберігання статичних файлів у кореневому каталозі програми Flask. Очікується, що robots.txt та sitemap.xml знайдуться в /, тому моя ідея полягала в створенні маршрутів для них: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response Має бути щось зручніше :)

94 python  flask  static  mod-wsgi  robots.txt