7
Як бути хорошим громадянином під час сканування веб-сайтів?
Я буду розробляти певну функціональність, яка сканує різні загальнодоступні веб-сайти та обробляє / агрегує дані на них. Нічого не зловісного, як пошук адрес електронної пошти - насправді це щось, що насправді може залучати додатковий трафік на їхні сайти. Але я відволікаюсь. Окрім вшанування robots.txt, чи є якісь правила чи рекомендації, …