Запитання з тегом «web-scraping»

Я буду розробляти певну функціональність, яка сканує різні загальнодоступні веб-сайти та обробляє / агрегує дані на них. Нічого не зловісного, як пошук адрес електронної пошти - насправді це щось, що насправді може залучати додатковий трафік на їхні сайти. Але я відволікаюсь. Окрім вшанування robots.txt, чи є якісь правила чи рекомендації, …

83 web-scraping  web-crawler 

Закрито . Це питання має бути більш зосередженим . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно зосередило увагу на одній проблемі, лише відредагувавши цю публікацію . Закрито 4 роки тому . Я буду складати додаток для автоматизації зовнішнього веб-сайту / програми. У деяких випадках мені …

9 c#  .net  html  web-scraping