Запитання з тегом «user-agent»

У нас були серйозні проблеми з (неймовірно) погано написаним павуком Yahoo в минулому , і в результаті ми їх заблокували. Марко Армент з Tumblr також поділився з нами своїми розчаруваннями 31.08.2009, що було фактором, який нас блокував. [Павук Yahoo] наповнює нас 70-200 запитами / секунду приблизно з 5:30 ранку EST. …

25 user-agent  bing  yahoo  web-crawlers 

Є бот Ask, який встановлює цей заголовок: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Враховуючи це, у мене є такі питання: Якщо я пишу веб-сканер на ім'я Goofy, який користувальницький агент я повинен використовувати? Яка різниця, якщо я кладу Mozilla/2.0або Mozilla/5.0? Будь-які інші пропозиції щодо того, як я повинен відформатувати свій користувальницький агент, …

18 user-agent  web-crawlers 

Мої журнали рясніють відвідувачами ботів, часто зі Східної Європи та Китаю. Боти ідентифікуються як Ahrefs, Lista, LSSRocketCrawler, Яндекс, Sogou тощо. Чи потрібно блокувати цих ботів із мого сайту та чому? Які з них мають законну мету збільшити трафік до мого сайту? Багато з них є SEO. Треба сказати, що я …

12 seo  web-crawlers  user-agent 

Як слід інтерпретувати порожній User-agent? У мене є власний код аналітики, і цей код повинен аналізувати лише людський трафік. У мене є робочий список User-агентів, що позначають людський трафік і трафік бота, але порожній User-agent виявляється проблематичним. І я отримую багато трафіку з порожнім User-агентом, приблизно 10%. Крім того, я …

12 apache  analytics  http  user-agent  logging 

Чи можуть бути перелічені користувацькі агенти разом із дотриманням їх загальних правил, як-от так, в robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

11 web-crawlers  robots.txt  user-agent 

Чи містить агент користувача в будь-якому звичайному веб-переглядачі "бот" або "сканування"? Я перевіряю агент користувача на своєму сайті, щоб побачити, надходить він від бота чи ні. Якщо це так, я можу зробити невеликі оптимізації, оскільки вони не входять у систему. (Я взагалі не змінюю вміст) Після додавання чеків на 30-40 …

11 user-agent 

Записи журналу доступу Apache на моєму сайті зазвичай такі: 207.46.13.174 - - [31 / жовтня 2016: 10: 18: 55 +0100] "GET / contact HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (сумісний; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0.607 MISS 10.10.36.125:104 0.607 тож ви можете …

10 joomla  user-agent  apache-log-files  botattack 

Я запускаю невеликий веб-сканер і мусив вирішити, який агент користувача використовувати для цього. Списки агентів сканування , а також Вікіпедія пропонують такий формат: examplebot/1.2 (+http://www.example.com/bot.html) Однак деякі боти опускають знак плюс перед URL-адресою. І мені цікаво, що це означає в першу чергу, але не зміг знайти жодного пояснення. RFC 2616 …

10 web-crawlers  http  user-agent 

У мене є сайт, який з регуляторних причин може не індексуватися або шукатися автоматично. Це означає, що нам потрібно тримати подалі всіх роботів і не дозволяти їм розкручувати сайт. Очевидно, у нас був файл robots.txt, який від самого початку відключає все. Однак, спостерігати за файлом robots.txt - це лише те, …

9 apache  web-crawlers  user-agent