Чи компанія має на увазі право сканування мого веб-сайту?


30

Я з'ясував, що McAfee SiteAdvisor повідомив про мій веб-сайт, як "можуть виникнути проблеми із безпекою" .

Мене мало хвилює те, що McAfee думає про мій веб-сайт (я можу це захистити сам, а якщо ні, то McAfee, безумовно, не є тією компанією, яку я б просив про допомогу, дуже дякую). Мене ж турбує те, що вони, мабуть, сканували мій веб-сайт без мого дозволу.

Для уточнення: На моєму веб-сайті поки що майже немає вмісту, лише якийсь заповнювач місця та деякі файли для мого особистого використання. ToS немає.

Мої запитання: чи має McAffee право завантажувати вміст з / сканування мого веб-сайту? Чи можу я заборонити їм це робити? У мене є відчуття, що має бути якийсь принцип "Мій замок, мої правила", проте я в основному нічого не знаю про всі юридичні речі.

Оновлення: я, мабуть, повинен був згадати, що мій провайдер сервера регулярно надсилає мені електронні листи про висновки SiteAdvisor - саме так я дізнався про їхній "рейтинг", і тому я роздратований.


78
Ви б сказали, що люди мають право переглядати ваш веб-сайт? Якщо так, навіщо дискримінацію людей-роботів-роботів? Якщо ні, то чому це веб-сайт в першу чергу?
jwodder

47
Як ви дізналися, що SiteAdvisor позначив ваш сайт? Ви не переглядали їхній сайт? Якщо так, то що вам дало право?
Джо Снайдерман

17
До речі, я б не відхилив звіт SiteAdvisor так легко, загалом, коли побачив подібні звіти, вони були законними. Найпоширеніший випадок - це використання старшої / неперевершеної версії популярної CMS (WordPress, Joomla, Drupal, ...), яка використовується деяким автоматичним сценарієм для розміщення шкідливого вмісту ("батутних" сторінок, які використовуються для спаму / фішингу, розміщення вірусів, пов'язаних у шахрайські електронні листи, експлуатується браузер, ви його називаєте); ви можете приймати погані речі, навіть не знаючи. Крім того, оскільки багато користувачів покладаються на подібні інструменти, ти, як правило, хочеш мати чистий запис, оскільки такі попередження можуть відлякати користувачів.
Matteo Italia

35
Якщо ви хочете щось заблокувати, зафіксуйте його. Ви налаштували веб-сайт і налаштували сервер для відповіді на GET-запити. Ви запросили всіх - буквально, усіх. Це не "мається на увазі" право, це як веб-сервери працюють. Заборона, як зазначалося, обмеження robots.txt, або IP, або вміст, обмежений для користувачів, які ввійшли в систему.
mfinni

20
@RolazaroAzeveires: Автоматизовані процеси добре не тому, що дозволено відвідувачам, але тому, що, забороняючи атаки, вони чудово запитують: "Чи можу я мати ці файли?" і ви налаштували свого веб-сервера на відповідь: "Звичайно! Ось ви йдете. Потрібно ще щось?" Це не сканування без вашого дозволу, це сканування з вашого дозволу.
Маркс Томас

Відповіді:


49

Для цього є правовий прецедент. Field v. Google Inc., 412 F. Supp. 2d 1106, (США, Ct. Nevada, 2006). Google виграв зведене судження на основі декількох факторів, особливо це те, що автор не використовував файл robots.txt у метатегах свого веб-сайту, що заважало б Google сканувати та кешувати сторінки, власник веб-сайту не хотів індексувати.

Постанова PDF

Закону США немає, спеціально стосується файлів robots.txt; однак інша судова справа встановила деякий прецедент, який може врешті-решт призвести до того, що файли robots.txt розглядаються як обхід навмисних електронних заходів, що вживаються для захисту вмісту. У ADVOCATES HEALTHCARE, INC Vs HARDING, EARLEY, FOLLMER & FRAILEY та ін. al, Healthcare Advocates стверджували, що Хардінг та ін по суті зламали можливості Wayback Machine, щоб отримати доступ до кешованих файлів сторінок, які мали новіші версії з файлами robots.txt. Поки адвокати охорони здоров’я програли цю справу, районний суд зазначив, що проблема полягала не в тому, що Хардінг та ін "вибирали замок", а в тому, що вони отримали доступ до файлів через проблему завантаження сервера з машиною Wayback, яка надала доступ до кешовані файли, коли не повинно '

Рішення суду pdf

Це лише питання часу ІМХО , поки хто - то не приймає це рішення і перетворює його на своєму боці: Суд вказав , що robots.txt є замок , щоб запобігти сканування і обійти це є збирання замок.

На жаль, багато з цих позовів не такі прості, як "Я намагався сказати вашому сканеру, що це заборонено, і ваш сканер ігнорував ці налаштування / команди." У всіх цих випадках є безліч інших питань, які в кінцевому рахунку впливають на результат більше, ніж на основну проблему того, чи слід файл robots.txt вважати електронним методом захисту відповідно до закону про DCMA США.

Зважаючи на це, це закон США, і хтось із Китаю може робити те, що хоче - не через юридичну проблему, а тому, що Китай не буде застосовувати захист торговельної марки США та авторських прав, тому удача йде за ними.

Не коротка відповідь, але насправді не існує короткої, простої відповіді на ваше запитання!


1
Це чудова відповідь, дякую. Те, що мені не подобається в robots.txt, - це те, що він не є фактичним стандартом (стандарт ніколи не вимагає законодавства). Ці компанії можуть просто просто проігнорувати це. Мені не подобається бути в положенні, коли вони мені кажуть: "Вам слід створити файл robots.txt, і, можливо, ми не скануватимемо ваш веб-сайт, але, можливо, ми будемо робити те, що нам подобається". Було б чудово, якби в метаданих веб-сайту був стандарт, який би визначав ToS веб-сайту.
kralyk

5
@jcanker Ці два випадки стосуються заяв про порушення авторських прав. У поведінці сканерів, які кешують вміст, наприклад, керованого Google та archive.org, має сенс, що проблеми з авторськими правами вступають у дію. Але McAfee SiteAdvisor насправді не копіює та не зберігає (значно менше робить публічно доступним) вміст із веб-сайтів, до яких це доступ, чи не так? Хоча я не юрист, я вважаю, що ця відмінність дає нам підстави дуже сильно сумніватися, що будь-який випадок у будь-якому випадку застосовний до поведінки такої системи, як SiteAdvisor, незалежно від того, поважає вона robots.txt чи ні.
Елія Каган

12
@kralyk - re "Ці компанії можуть просто просто проігнорувати це." Ну так. Так працює Інтернет. І навіть якби це було якимось більш принциповим, сканером було б тривіально, абсолютно тривіально, робити вигляд, що людина переходить на ваші веб-сторінки. Ви просите технічно неможливо . Дійсно, якщо ви продумуєте те, що ви просите, те, що ви шукаєте, не є логічним, воно не має сенсу. За винятком юридичного розрізнення. Ваші єдині можливі засоби захисту (1) приховування важливого вмісту за автентифікацією входу користувача та (2) правовий захист, про який йдеться у цій відповіді.
ToolmakerSteve

@ToolmakerSteve Я знаю, що технічно неможливо повністю заборонити роботи. Однак це зовсім інша ситуація - я не шукаю технічного рішення, я прошу, чи це законно, також зауважте, що McAffee повідомив мені, що вони сканують мій веб-сайт, мені це не потрібно виявляти.
kralyk

Існує також правовий прецедент і в інший спосіб: ebay v краю торгів
Іван

91

Так, вони мають на це право - ви створили загальнодоступний веб-сайт, що змушує вас вважати, що вони цього не роблять?

Ви теж, звичайно, маєте право їх зупинити. Ви можете попросити їх не сканувати ваш веб-сайт за допомогою robots.txt або активно перешкоджати їм доступу до нього чимось на кшталт fail2ban .

Крім того, не хвилюйтеся з цього приводу і продовжуйте своє життя. Це нічого не шкодить і, безумовно, є доброзичливою стороною інтернет-зондування.


4
> "Так, вони мають на це право - ви створили загальнодоступний веб-сайт. Що змушує вас вважати, що вони цього не роблять?" Що ж, якщо щось технічно можливо, це не обов'язково означає, що це законно. Наприклад, ToS YouTube забороняє завантажувати відео, тому, незважаючи на те, що це технічно дуже просто, все одно це заборонено. Я б не хвилювався за SiteAdvisor, якби не мій провайдер, який надсилає мені електронні листи про мій сайт, "можливо, у мене проблеми" ...
kralyk

16
@kralyk - якщо ви не хочете, щоб громадськість (яка включає McAfee) дивилася на неї, не розміщуйте її в Інтернеті. Це так просто. ВИ КОНТРОЛЮЄТЬСЯ САЙТ Ніхто не змушує вас викласти його там, і якщо ви не хочете, щоб люди дивились на нього, то НЕ ДАЙТЕ його там. Якщо ви збираєтесь виставити його там, то не дивуйтеся, що люди (в тому числі люди, які хочуть продати вам речі) дивляться на це. Перестаньте намагатися перетворити свої бажання в чужу проблему.
Майкл Коне

9
@kralyk: серйозно? Ви дійсно вважаєте, що питання тут є подвійним стандартом? Жодна людина в McAfee не знає і не піклується про ваш веб-сайт. Вони також не повинні. Було б абсурдно очікувати, що хтось, що сканує Інтернет, прочитає всі ToS. Ось чому було винайдено robot.txt.
ToolmakerSteve

3
@kralyk Доступ до ресурсів, про які йдеться, повинен бути закритим для того, щоб ToS був десь значущим. Робот, який сканує ваші незахищені сторінки, абсолютно не відрізняється від того, хто зареєстрував обліковий запис, підтвердив ToS і потім подав облікові дані роботові.
Андрій Б

4
@kralyk - Який тип TOS у вас на сайті, який ви вважаєте, що McAfee порушує (не поважаючи)?
Кевін Феган

11

Незалежно від того, чи є така поведінка етичною чи ні, не зовсім чітко вирішено.

Сам акт сканування загальнодоступного сайту сам по собі не є неетичним (якщо ви прямо не заборонили це використовувати robots.txt або інші технологічні заходи, і вони їх обходять).

Те, що вони роблять, є грубим еквівалентом холоду, який закликає вас, при цьому повідомляючи світові, що ви, можливо, не захищені. Якщо це шкодить вашій репутації і є невиправданим, це неетично; якщо це робиться, і єдине рішення для цього передбачає їх виплату, це рекет. Але я не думаю, що так відбувається.

В інший раз це стає неетичним, коли хтось сканує ваш сайт, щоб відповідати вашому вмісту чи даним, а потім представляє їх як власні. Але це теж не те, що відбувається.

Отже, я пропоную, що їх поведінка в цьому випадку є етичною, і ви також можете, швидше за все, ігнорувати це.

Їх поведінка, пов’язана зі спамом, неетична, якщо ви не маєте до них жодних стосунків і не просили електронних листів, але я підозрюю, що вони мають підписку на роботу.


1
Я не впевнений, що назвав би Disallowдирективу у файлі robots.txt "забороною технологічного заходу". robots.txt діє як прохання про ввічливість, і, хоча добре поводилися боти будуть його дотримуватися, жодних зобов’язань і реального забезпечення безпеки немає. Насправді, погано поведені боти можуть сприйняти запис у robots.txt як запрошення пройти по цьому конкретному шляху ...
CVn

2
@ MichaelKjörling, тільки половина згодна. Реального забезпечення немає, але є зобов'язання. Це знак, що не має права, і ви зобов'язані не допускати, оскільки у вас немає дозволу на вхід.
Бен

Це знак "тримайтесь", без замка. Спробуйте це у себе вдома і подивіться, скільки співчуття ви отримуєте після того, як злодії призивають! (Насправді, це знак "тримайтесь", який чітко перераховує незамкнені двері та вікна, від яких ви хочете, щоб люди не трималися.)
Ренді Оррісон,

2

Технічний підхід до заборони доступу певних людей або компаній до вашого веб-сайту:

Ви можете заблокувати певні IP-адреси або діапазони адрес для доступу до сторінок вашого сайту. Це у файлі .htaccess (якщо ваш сайт працює на веб-сервері Apache).

http://www.htaccess-guide.com/deny-visitors-by-ip-address/

Запропонуйте IP-адреси вашого веб-сервера, до яких отримує доступ, і знайдіть ці IP-адреси, щоб знайти ті, які пов’язані з McAfee. Напевно, зараз легко сказати, якщо у вас немає постійних відвідувачів.

Звичайно, вони можуть змінити IP-адреси в майбутньому. Однак, якщо ви знайдете IP-адреси, які ви знайдете, щоб побачити, хто їм належить, ви зможете дізнатися про цілий блок адрес, що належать McAfee, і заблокувати їх усі.


Для юридичної основи для цього:

"Власники веб-сайтів можуть юридично заблокувати деяких користувачів, правила суду"

http://www.computerworld.com/s/article/9241730/Website_owners_can_legally_block_some_users_court_rules

(Якщо ваш веб-сайт є особистим, ніхто не оскаржує ваше право заблокувати деяких користувачів. Але якщо це веб-сайт для бізнесу, існують юридичні та моральні аргументи з обох сторін дискусії. Чим менше ваш бізнес, тим простіше це має бути юридично захищеним - і тим менше хто-небудь інший би піклувався про те, щоб все одно скаржитися.)


Можливо, вас також зацікавить "Заборонити відвідувачів за допомогою реферала".

"Якщо ви коли-небудь переглядали ваші журнали та помічали дивовижне збільшення трафіку, але не збільшується кількість фактичних запитів на файли. Це, мабуть, хтось стискає вміст (наприклад, CSS-файли) або хтось намагається зламати ваш веб-сайт (це може просто означати спробу щоб знайти не загальнодоступний вміст). "

http://www.htaccess-guide.com/deny-visitors-by-referrer/

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.