Мої журнали рясніють відвідувачами ботів, часто зі Східної Європи та Китаю. Боти ідентифікуються як Ahrefs, Lista, LSSRocketCrawler, Яндекс, Sogou тощо. Чи потрібно блокувати цих ботів із мого сайту та чому?
Які з них мають законну мету збільшити трафік до мого сайту? Багато з них є SEO.
Треба сказати, що я бачу менше трафіку, якщо що-небудь, оскільки боти прибули у великій кількості.
Блокувати їх буде не надто важко, оскільки всі вони визнають у своєму Агенті користувачів, що вони є ботами.
Відповіді:
Ви можете блокувати ботів, але це залежить від того, що ви хочете для свого веб-сайту.
Ви можете заблокувати роботи пошукових систем, якщо ви не хочете, щоб ваш веб-сайт був індексований у певній пошуковій системі.
Приклад: Яндекс - російська пошукова система. Ви можете заблокувати його бота, якщо ваш бізнес не націлений на Росію.
Ви можете блокувати SEO-ботів, якщо не хочете використовувати їх рішення для веб-аналітики.
Приклад: Ahrefs - це рішення для веб-аналітики. Ви можете заблокувати його бота, якщо ви не використовуєте це рішення для веб-аналітики.
Причина блокування ботів:
Причина не блокувати ботів:
Ви можете дізнатися більше про ботів, прочитавши FAQ на robotstxt.org .
Якщо ви хочете визначити кілька роботів для блокування, ви можете взяти натхнення на цьому веб-сайті robots.txt .
Будьте уважні, деякі боти можуть ігнорувати robots.txt , більше інформації тут .
Висновок : Ви можете шукати в Інтернеті функцію роботів, щоб визначити, чи може бути їх корисне блокування.
Спроба блокування ботів може допомогти звільнити ресурси та очистити ваші журнали, важливо відзначити, що robots.txt і навіть використання метатегів на сторінках noindex насправді не зупиняють ботів відвідувати ваш сайт. Вони все ще можуть час від часу сканувати ваш сайт, щоб побачити, чи було видалено заборонені роботами. Дуже багато ботів навіть не використовують користувальницький агент, і вони використовуватимуть стандартний користувальницький агент. Боти, які я маю на увазі, - це типово боти, що збирають SEO, які сканують зворотні посилання, а не загальні, які ви знайдете в пошукових системах.
Замість того, щоб блокувати ботів, вам слід просто враховувати цих ботів під час підрахунку відвідувачів, після деякого часу активного моніторингу вашого сайту встановіть грубу цифру, яка є ботами. Більшість людей дбають про унікальні візити, і це виключає ботів, оскільки вони постійно повертаються. У цей день і вік є безліч серверів, спільного хостингу, які можуть обробляти ці боти, окрім сторінок, які ви не хочете індексувати, я не бачу причин блокувати такі типи ботів. Звичайно, у вас є і шкідливі боти, але вони, звичайно, не використовуватимуть агента користувача;).
Особисто я вважаю, що блокування роботів - це марна трата часу, оскільки вони взагалі не використовують стільки ресурсів, SEO-роботи можуть допомогти, оскільки вони перелічують ваш сайт на сторінках PR0, що, звичайно, збільшує ваш PageRank і там автоматизується, тому ви не будете покарані ними.
Випуск журналів
Ви повинні використовувати належну програму перегляду журналів, яка дозволяє фільтрувати певні запити, це полегшує перегляд ваших журналів. Хороші глядачі можуть відфільтрувати багато речей, як-от звичайні візити, 404-х тощо.