Чи містить агент користувача в будь-якому звичайному веб-переглядачі "бот" або "сканування"?


11

Чи містить агент користувача в будь-якому звичайному веб-переглядачі "бот" або "сканування"?

Я перевіряю агент користувача на своєму сайті, щоб побачити, надходить він від бота чи ні. Якщо це так, я можу зробити невеликі оптимізації, оскільки вони не входять у систему. (Я взагалі не змінюю вміст)

Після додавання чеків на 30-40 + ботів, я втомився додавати їх. Тож мені було цікаво, чи перевіряється, чи містить він просто "бот" чи "сканування". Я знаю, що боти не отримають усіх, але їх було б багато. Але якщо це може викликати помилкові позитиви, то це повністю зіпсує можливість додавати в кошик, робити замовлення та входити в систему.

Відповіді:


13

Відповідно до списку за адресою http://www.useragentstring.com/pages/useragentstring.php?typ=Browser з більш ніж 9000 рядками агентського агента з різних браузерів:

  • 0 рядок веб-переглядачів користувача містить слово "бот"
  • 2 рядки веб-переглядачів користувача містять слово "сканування"
  • 0 рядків веб-переглядачів користувача містить слово "павук"

(2, що містить "сканування", є наступним: "Mozilla / 4.0 (сумісний; MSIE 5.01; Windows NT 5.0; YComp 5.0.2.6; MSIECrawler)" і "Mozilla / 4.0 (сумісний; MSIE 5.01; Windows NT 5.0; MSIECrawler ) "Я думаю, що це безпечно не враховувати.)

Відповідно до списку за адресою http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler із 442 рядками користувацького агента, переліченими як боти:

  • 208 рядків бот-агента користувача містить слово "бот"
  • 63 рядки бот-агента користувача містять слово "сканування"
  • 37 рядків бот-агента користувача містить слово "павук"
  • 282 рядки користувацьких агентів ботів містять або "бот", "сканування" або "павук"

Мій висновок: безпечно фільтрувати ботів за рядками агента користувача словами "бот", "сканування" та "павук". Це не куленепробивна, але, безумовно, краще, ніж нічого.

Примітка. Під час пошуку ключових слів я використовував нечутливий до регістру пошук.


Дякую за вашу відповідь. Я зробив чек сьогодні, і до сих пір немає браузера або мобільного браузера рядок агента користувача не містить будь - якої з bot, crawl, spider, і навіть search.
Олівер

2

Кращим рішенням IMO було б визначити, чи користувач увійшов. Якщо їх немає, покажіть стандартну сторінку (це може бути кешоване). Будь-який веб-павук ніколи не буде входити в систему, але якщо ви оптимізуєте їх, чому б не для нових користувачів на вашому сайті?


Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.