Запитання з тегом «web-crawler»

Я з'ясував, що McAfee SiteAdvisor повідомив про мій веб-сайт, як "можуть виникнути проблеми із безпекою" . Мене мало хвилює те, що McAfee думає про мій веб-сайт (я можу це захистити сам, а якщо ні, то McAfee, безумовно, не є тією компанією, яку я б просив про допомогу, дуже дякую). Мене …

30 web-crawler 

Як великі сайти (наприклад, Вікіпедія) мають справу з ботами, які відстають від інших IP-масок? Наприклад, у моєму університеті всі шукають Вікіпедію, даючи їй значне навантаження. Але, наскільки я знаю, Вікіпедія може знати лише IP маршрутизатора університету, тож якщо я встановити "розв’язаний" бот (лише з невеликою затримкою між запитами), чи може …

12 web-crawler 

У мене виникають проблеми з певною особою, яка продовжує скреготати мій сайт агресивно; марно пропускна здатність та ресурси процесора. Я вже впровадив систему, яка записує мої журнали доступу до веб-сервера, додає кожен новий IP в базу даних, відслідковує кількість запитів, зроблених з цього IP, і потім, якщо той самий IP …

10 ip  isp  whois  web-crawler  ip-blocking 

Я встановив Apache деякий час тому, і швидкий погляд на мій access.log показує, що всі види невідомих IP-адрес підключаються, в основному, з кодами статусу 403, 404, 400, 408. Я не знаю, як вони знаходять мій IP, тому що я використовую його лише для особистого використання, і додав robots.txt, сподіваючись, що …

8 apache-2.2  web-crawler