Запитання з тегом «robots.txt»

Я хотів би мати список файлів, який повинен існувати на кожному веб-сайті. Ідея полягає в тому, щоб сподобатися більшості браузерів і ботів і отримати кількість 404 повідомлень у журналах. Поки що у мене є такі файли: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png Чи є інші файли, які часто запитують …

36 robots.txt  404  logging  favicon 

Якщо я не хочу встановлювати особливих дій, чи це нормально, якщо я не намагаюся мати файл robots.txt? Або нестача одного може бути шкідливою?

29 robots.txt 

На веб-сервері, який я маю тепер адміністратору, я помітив, що robots.txt порожній. Мені було цікаво, чи є різниця між порожнім robots.txt і жодним файлом. Чи поводяться сканери по-різному в цих двох випадках? Отже, чи безпечно просто видалити порожній robots.txt?

28 web-crawlers  robots.txt  webserver 

У мене є кілька динамічно створених URL-адрес. Чи можу я використовувати регекс для блокування цих URL-адрес у файлі robots.txt?

23 robots.txt  regular-expression 

У мене є два сайти, над якими я зараз працюю, на яких є кошик для покупок і ще один покупець. Обидва знаходяться під одним іменем домену, наприклад, http://example.com/first_url http://example.com/second_url Обидві ці URL-адреси мають тонни сторінок під ними http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 http://example.com/second_url/product3 Як заборонити основну URL-адресу, /first_urlа /second_urlтакож всі …

19 seo  robots.txt 

На моєму сайті є кілька сторінок, від яких я хочу тримати подалі від пошукових систем, тому я заборонив їх у своєму robots.txtфайлі так: User-Agent: * Disallow: /email Але нещодавно я помітив, що Google все ще іноді повертає посилання на ці сторінки в своїх результатах пошуку. Чому це відбувається і як …

18 google-search  robots.txt 

Тиждень тому я додав файл robots.txt на один із своїх сайтів, що повинно було завадити Googlebot намагатися отримати певні URL-адреси. Однак у ці вихідні я можу бачити, як Googlebot завантажує ці точні URL-адреси. Чи кешує Google robots.txt і, якщо так, чи слід?

17 googlebot  robots.txt  google-cache 

У мене є підкаталог, який я хотів би приховати від веб-сканерів пошукової системи. Один із способів зробити це - використовувати robots.txtв кореневому каталозі сервера (стандартний спосіб). Однак кожен, хто знає URL-адресу веб-сайту та має деякі основні знання в Інтернеті, може отримати доступ до вмісту robots.txt та побачити заборонені каталоги. Я …

16 web-crawlers  robots.txt 

Скажіть, будь ласка, як мені заблокувати такі URL-адреси robots.txtдля Googlebots, щоб припинити індексувати? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Мій веб-сайт був зламаний, який зараз відновлюється, але хакер проіндексував 5000 URL-адрес у Google, і тепер я отримую помилку 404 у випадково генерованих посиланнях, перш за все, починаючи з /+подібної вище посилання. Мені було цікаво, чи …

15 google-search  robots.txt  url-removal 

Мені не подобається, що я бачу багато 404 помилок у access.log мого веб-сервера. Я отримую ці помилки, оскільки сканери намагаються відкрити файл robots.txt , але не знайшли жодної. Тому я хочу розмістити простий файл robots.txt, який запобіжить появі 404 помилок у моєму файлі журналу. Що таке мінімально допустимий файл robots.txt, …

14 robots.txt 

Чи дозволено CSS та шаблони в robots.txt ? Чи повинен це викликати якісь проблеми? У Joomla CSS та шаблони заборонені в robots.txt . Будь ласка, допоможіть мені знайти рішення щодо того, чи потрібно заборонити забороняти роботу на CSS, шаблони тощо для моїх майбутніх веб-сайтів.

12 css  robots.txt 

На моєму веб-сайті є кілька сторінок, за якими я хочу, щоб користувач міг відвідати лише, якщо я даю йому / її URL. Якщо я забороняю одиничні сторінки robots.txt, вони будуть помітні всім , хто на неї заглядає. Моє запитання: якщо я не пов'язую їх з будь-якого місця або, принаймні, з …

12 robots.txt 

Написавши ряд ботів і побачивши величезну кількість випадкових ботів, які трапляються на сканування сайту, мені цікаво, як веб-майстру, які боти дійсно варто пускати на сайт? Моя перша думка полягає в тому, що надання ботів на сайт потенційно може принести йому реальний трафік. Чи є якась причина, щоб дозволити ботам, які, …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

У мене є піддомен, яку я не хочу вносити до жодного результату пошукової системи. Скажімо, у мене є: http://www.example.com http://child.example.com Як я можу приховати всі URL-адреси child.example.comдомену, які наразі відображаються в результатах пошуку?

11 search-engines  url  robots.txt  search  noindex 

Це мій robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Але Google Webmaster Tools повідомляє мені, що роботи блокують доступ до карти сайта: Під час спроби отримати доступ до вашої Sitemap ми виявили помилку. Будь ласка, переконайтеся, що ваш файл Sitemap відповідає нашим інструкціям та отримати доступ до …

11 google-search-console  robots.txt  web-crawlers