Запитання з тегом «robots.txt»

Я щойно оновив файл robots.txt на новому сайті; Google Інструменти для веб-майстрів повідомляє, що він прочитав мій robots.txt за 10 хвилин до мого останнього оновлення. Чи можу я закликати Google якнайшвидше перечитати мій robots.txt? ОНОВЛЕННЯ: у розділі Конфігурація сайту | Доступ гусеничного | Тест robots.txt: Показує доступ до домашньої сторінки: …

22 google  robots.txt  google-webmaster-tools 

Щоб: Підвищити безпеку мого веб-сайту Зменшити вимоги до пропускної здатності Не допускати збирання електронної адреси

14 performance  security  robots.txt 

Я намагаюся встановити robots.txtдля всіх віртуальних хостів під nginx http-сервером. Я зміг зробити це в Apache, поставивши наступне в основному httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Я спробував зробити щось подібне з nginx, додавши рядки, наведені нижче (а) в межах nginx.conf і (b), як включають conf.d / …

13 nginx  robots.txt 

У нас є налаштування веб-сервера розробки XAMPP Apache з віртуальними хостами і хочемо зупинити серпи від сканування всіх наших сайтів. Це легко зробити за допомогою файлу robots.txt. Однак, ми не бажаємо включати забороняти robots.txt у кожен vhost, а потім мусимо видалити його, коли ми перейшли наживо із сайтом на інший …

10 apache-2.2  php  robots.txt