Для цього є правовий прецедент. Field v. Google Inc., 412 F. Supp. 2d 1106, (США, Ct. Nevada, 2006). Google виграв зведене судження на основі декількох факторів, особливо це те, що автор не використовував файл robots.txt у метатегах свого веб-сайту, що заважало б Google сканувати та кешувати сторінки, власник веб-сайту не хотів індексувати.
Постанова PDF
Закону США немає, спеціально стосується файлів robots.txt; однак інша судова справа встановила деякий прецедент, який може врешті-решт призвести до того, що файли robots.txt розглядаються як обхід навмисних електронних заходів, що вживаються для захисту вмісту. У ADVOCATES HEALTHCARE, INC Vs HARDING, EARLEY, FOLLMER & FRAILEY та ін. al, Healthcare Advocates стверджували, що Хардінг та ін по суті зламали можливості Wayback Machine, щоб отримати доступ до кешованих файлів сторінок, які мали новіші версії з файлами robots.txt. Поки адвокати охорони здоров’я програли цю справу, районний суд зазначив, що проблема полягала не в тому, що Хардінг та ін "вибирали замок", а в тому, що вони отримали доступ до файлів через проблему завантаження сервера з машиною Wayback, яка надала доступ до кешовані файли, коли не повинно '
Рішення суду pdf
Це лише питання часу ІМХО , поки хто - то не приймає це рішення і перетворює його на своєму боці: Суд вказав , що robots.txt є замок , щоб запобігти сканування і обійти це є збирання замок.
На жаль, багато з цих позовів не такі прості, як "Я намагався сказати вашому сканеру, що це заборонено, і ваш сканер ігнорував ці налаштування / команди." У всіх цих випадках є безліч інших питань, які в кінцевому рахунку впливають на результат більше, ніж на основну проблему того, чи слід файл robots.txt вважати електронним методом захисту відповідно до закону про DCMA США.
Зважаючи на це, це закон США, і хтось із Китаю може робити те, що хоче - не через юридичну проблему, а тому, що Китай не буде застосовувати захист торговельної марки США та авторських прав, тому удача йде за ними.
Не коротка відповідь, але насправді не існує короткої, простої відповіді на ваше запитання!