Який найкращий спосіб виключити ботів із кількості переглядів?

Мій веб-сайт підраховує кількість переглядів відвідувачів на певних сторінках. Я помітив, що Google та інші боти "натискають" на мій сайт, як божевільні, і деякі сторінки отримують нереальні підрахунки переглядів (порівняно з тими, які виробляють люди).

Я прошу найкращої практики виключити цих ботів із моєї точки зору. Очевидно, що простий "користувальницький агент" містить "бот" цього не зробить.

Я не думаю, що рішення щодо кулі немає, і воно мені не потрібно.

Примітка: я використовую PHP + MySQL.

Я радий, що ти знаєш, що це не може бути бронезахисним шляхом для цього. Це означає, що ваш світогляд є принаймні реалістичним.

Оскільки JavaScript не є варіантом, я б сказав, що вам залишилося:

• Перевірте користувальницький агент на наявність у ньому слова "бот". Це зловить більшість із них.

• Складіть список відомих ботів і відфільтруйте їх на основі якогось унікального ідентифікатора, можливо, їх користувальницького агента.

• Покладіть приховане посилання у нижній колонтитул вашого веб-сайту, що посилається на сторінку, яка збирає агенти користувача та / або IP-адреси. Користувачі цього не побачать, але боти будуть. Тож кожен, хто відвідує цю сторінку, буде ботом. Запишіть їх, а потім заблокуйте їх у статистиці.

Існує три досить прості способи:

1. Використовуйте Google Analytics, який буде обробляти та обробляти всі дані для вас, а також представлятиме детальну статистику щодо відвідувачів та того, як вони потрапили на ваш сайт. Це, безумовно, найпростіше рішення.
2. Використовуйте Javascript для підрахунку. Коли сторінка завантажиться, створіть запит AJAX до сценарію підрахунку. Роботи та павуки не запускають Javascript.
3. Виявлення "бота" в рядку агента користувача насправді досить надійне. Крім того, ви можете дотримуватися лише відомих ботів, таких як Googlebot, Yahoo, MSNbot тощо. Перевірка цих трьох повинна охоплювати 99% вашого трафіку бота. На цій сторінці є деякі інші, але вона виглядає досить застарілою.

ОНОВЛЕННЯ: Googlebot і деякі основні боти справді працюють JavaScript. Тож використання опції №2 вже не є життєздатною. Однак це означає, що використання його у поєднанні з №3 має бути досить надійним, оскільки ви можете легко виключити більшість ботів за допомогою JS, а потім на стороні сервера виключити основних ботів, таких як Googlebot, які запускають JS.

Також, як зазначено в коментарях, ви можете спробувати скористатися API Google Analytics для відображення переглядів кожної сторінки.

Якщо ви використовуєте Javascript для підрахунку переглядів, то більшість ботів не запускатимуть його, тому вони не включатимуться до вашої кількості переглядів. Ця відповідь може бути близькою до того, що ви хочете /programming/1973448/how-can-i-count-a-page-views

Мій підхід передбачає два переходи:

1. Фільтруйте лише веб-браузери та консолі, порівнюючи початок рядка агента користувача Mozilla|Opera|PSP|Bunjalloo|wii. Завдяки підробленню агента користувача ця перевірка виявить майже всі браузери
2. Виключіть ботів за допомогою загальних стоп-рядків bot|crawl|slurp|spider

Отже, якщо перший крок пройдений, ми припускаємо, що це браузер і за ним є реальний відвідувач. Як я з'ясував, хоча деякі боти прикидаються Mozillaсумісними, і починають з нього свій рядок агентів користувача Ось чому другий прохід може стати в нагоді і усунути їх.

function isBrowser () {

    return preg_match( '/^(Mozilla|Opera|PSP|Bunjalloo|wii)/i', $_SERVER['HTTP_USER_AGENT'] ) && !preg_match( '/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'] );
}

Я використовую просто просте виключення парсинг-агента користувача. Це позбавляється від 99% ботів, що потрапляють на мої сторінки.

SELECT * FROM `live_visitors` where (
lower(agent) != '%bot%' and
lower(agent) != '%slurp%' and
lower(agent) != '%spider%' and
lower(agent) != '%crawl%' and
lower(agent) != '%archiver%' and
lower(agent) != '%facebook%')

Ви можете використовувати зображення як лічильник, в цьому випадку боти не будуть зараховані, а назва сторінки передається як запит із назвою зображення

Я використовую це в img.php, який оновлює перегляд сторінки в базі даних:

<?php
$xnt = $_GET["ID"]; if (isset($xnt) && is_numeric($xnt)) {
$DBServer = "localhost"; $DBUser = "xxx"; $DBPass = "xxx"; $DBaze = "xxx";
$conn = mysqli_connect($DBServer, $DBUser, $DBPass, $DBaze); 
mysqli_query($conn, "UPDATE stats SET stats_vz=stats_vz+1 WHERE stats_id=".$xnt);
mysqli_close($conn);}
$im = @imagecreatetruecolor(1, 1); imagesavealpha($im, true); imagealphablending($im, false); $white = imagecolorallocatealpha($im, 255, 255, 255, 127); imagefill($im, 0, 0, $white);
header("Content-type: image/png"); imagepng($im); imagedestroy($im);