Запитання з тегом «bingbot»

В даний час я переспрямовую всі з'єднання, що не є HTTPS, на HTTPS і підтримую TLS v1, TLS v1.1 та TLS v1.2. Я переконфігурував свій тестуючий сервер, щоб він приймав лише дуже обмежений і безпечний набір шифрів і лише TLSv1.2. Після запуску тесту лабораторій SSL я помітив, що їх діаграма …

12 seo  search-engines  https  googlebot  bingbot 

Написавши ряд ботів і побачивши величезну кількість випадкових ботів, які трапляються на сканування сайту, мені цікаво, як веб-майстру, які боти дійсно варто пускати на сайт? Моя перша думка полягає в тому, що надання ботів на сайт потенційно може принести йому реальний трафік. Чи є якась причина, щоб дозволити ботам, які, …

11 seo  web-crawlers  robots.txt  googlebot  bingbot