Як сайти виявляють ботів за проксі-серверами або мережами компаній

Як великі сайти (наприклад, Вікіпедія) мають справу з ботами, які відстають від інших IP-масок? Наприклад, у моєму університеті всі шукають Вікіпедію, даючи їй значне навантаження. Але, наскільки я знаю, Вікіпедія може знати лише IP маршрутизатора університету, тож якщо я встановити "розв’язаний" бот (лише з невеликою затримкою між запитами), чи може Вікіпедія заборонити моєму боту без заборони всієї організації? може сайт фактично забороняє IP-адресу за організаційною мережею?

Ні, вони заборонять публічну ІР, і всі, хто є НАТ на цей ІС, також будуть заборонені.

Хоча принаймні, коли ми думаємо, що ми заборонятимемо коледж чи щось подібне, ми звернемось до їхніх контактів зловживань, щоб змусити їх відстежувати злочинця і зупиняти проблему.

Сайт не може безпосередньо заборонити IP, який стоїть за NAT. Він може діяти на IP-адреси, передані через неанонімізовані проксі-сервери HTTP - коли такий проксі пересилає запит, він зазвичай додає цю адресу до заголовка X-Forwarded-For, тож якщо доступ з вашої приватної мережі насправді повинен пройти через такий проксі внутрішній IP може бути викритий; однак більшість сайтів (включена вікіпедія) ні в якому разі не довіряють інформації в цьому заголовку, тому що легко підміняти невинну IP-адресу або уникати заборон.

Є й інші методи, які намагаються однозначно ідентифікувати користувачів незалежно від IP-адреси. Ви можете допитати веб-браузер для отримання великої кількості інформації про нього та систему, на якій працює, наприклад, користувальницький агент, роздільна здатність екрана, список плагінів тощо - див. Https://github.com/carlo/jquery- відбиток браузерадля прикладу цього на практиці. Ви можете використовувати такі відбитки пальців для контролю доступу, хоча залежно від дизайну сайту ви можете мати можливість взаємодіяти з ним без участі в процесі відбитків пальців, і навіть якщо бот не може надати помилкові та рандомізовані дані, щоб уникнути наявності послідовний відбиток пальців, якщо вам відомо, що такий вид захисту є на місці. Цей метод контролю також ризикує помилковим спрацьовуванням, особливо якщо мова йде про мобільні пристрої, де, ймовірно, буде велика кількість клієнтів, які працюють однаковими клієнтськими запасами на однакових апаратних пристроях (більшість людей на певній моделі iPhone працює з певною версією iOS , наприклад, мабуть, вийде той самий відбиток пальців).

Як правило, IP-адреса не є достатньою інформацією для правильної заборони. Таким чином, просунуті мережі працюють високо над мережевим стеком.

Атака відмови в сервісі (DoS) (яку ви турбуєтесь про створення), як правило, обробляється швидкістю, що обмежує початкову настройку TCP-з'єднання. Це означає, що законні користувачі, які готові чекати, переживають, тоді як ті, хто просто намагається споживати серверні ресурси, сповільнюються до того, що стають нешкідливими. Ось тут DoS перетворився на розподілену атаку DoS (DDoS).

Після підключення до сервера ви можете зробити стільки запитів, скільки завгодно, адміністрація веб-сервера може налаштувати кількість запитів для обробки.

Веб-сервер, мабуть, може працювати з більшою потужністю, ніж ваш локальний мережевий шлюз, це, мабуть, обмежуючий фактор у вашому випадку використання. Я б став до заходу, щоб адміністратори вашої університетської мережі прийшли стукати у ваші двері, перш ніж це зробила Вікіпедія

Важливо бути хорошим громадянином Інтернету, тому я би додав боту, що обмежує тарифи, боту.

Слід також зазначити, що у Вікіпедії пропонуються скидання даних, щоби перетягувати сайт насправді не потрібно.