Наскільки (не) законним є отримання даних зі 100% доступного, але не "відкритого" API

Я знайшов веб-сайт, який пропонує величезну фільтрувальну таблицю з актуальними даними про міста в країні. Цей сайт використовує нескінченний підхід для прокрутки для завантаження рядків для таблиці.

Досліджуючи сайт за допомогою Інструментів для розробників Chrome, я виявив, що він робить запити AJAX до якоїсь внутрішньої URL-адреси, щоб отримати дані. Ця URL-адреса містить безліч параметрів запитів, що відповідають фільтрам.

Я намагався отримати доступ до цієї URL-адреси безпосередньо у своєму браузері, і я отримую всі дані у приємному форматі JSON. Я навіть можу пограти з фільтрами, щоб отримати конкретні дані, які мені потрібні. Ця URL-адреса є фактично доступною, тому мені не потрібно нічого робити хакіт , я просто дзвоню URL-адресу, яка є в мережі.

Отже, моє запитання: наскільки законним чи незаконним я використовую цю URL-адресу для отримання даних для власних цілей?

Примітка . Я не хочу створювати такий самий список міст, але хочу використовувати ці дані для створення невеликої кількості онлайн-ігор, потенційно, щоб заробити трохи грошей ...

ВАЖЛИВІ Примітки щодо деяких відповідей та коментарів

Це лише приклад сценарію, я не шукаю місця для захоплення даних про міста. Розгляньте веб-сайт з даними про оновлені показники роботи футболістів за сезон, якщо хочете.

Що стосується конкретної країни, знову ж таки, я не замислююся в конкретному законодавстві, якщо ви знаєте країну, де явно (не) законно, це буде корисною інформацією.

Дозвольте мені зрозуміти. Є одне, що я досить добре знаю, це закон про авторські права. Я не юрист, проте знання авторських прав було постійною вимогою моєї консультації протягом 30 років. Як додатковий бонус, я консультувався в основному з телекомунікацій і часто працював з абонентськими даними та аналізом даних та поданням цих даних для продажу та повторного використання. Я, принаймні, унікально кваліфікований, щоб відповісти на це питання на цьому форумі.

Я поясню це найкращим чином, що можу: одним, визначивши власні вірші звичайними засобами; два, що визначають виключення цитованого випадку та інші пов'язані з цим авторські міркування; і три, зрозумівши відповідь.

Дозвольте мені уточнити авторські права. Приклад телефонної книги - неправильне слово. Коли ви отримуєте телефон, ви уклали приватний договір як приватний громадянин з приватною компанією, і отримана інформація, оприлюднена чи ні, є приватними власними даними, а тому вміст телефонної книги є власником (зверніть увагу на це слово) просто тому, що його не можна отримати в основному будь-якими іншими способами, крім джерел даних компанії - даних абонента. Якщо дані можуть бути отримані звичайними засобами, такими як прогулянка та запис номерів будинків та назв вулиць, то це загальнодоступні дані та зрозумілі для використання. Це не означає, що телефонні номери неможливо отримати звичайними засобами. Це може бути.

Щоб уточнити далі. Цитувати з: http://www.lib.umich.edu/copyright/facts-and-data

Ні в якому разі захист авторських прав на оригінальний авторський твір не поширюється на будь-яку ідею, процедуру, процес, систему, спосіб роботи, концепцію, принцип чи відкриття, незалежно від того, у якій формі вона описана, пояснена, проілюстрована чи втілена в такій роботі.

Цей пункт вводить в оману. Цей виняток, описаний у цьому пункті, охоплюється патентними та іншими законами. Авторські права поширюються лише на створення твору.

The:

Вчення про «піт чола»

... стосується будь-якої діяльності, наприклад, збирання додому та збирання даних вручну. Це визначення звичайних засобів. Можна постукати у двері та попросити однакові телефонні дані. Тільки настільки, наскільки ви можете зібрати факти звичайними засобами, це те, що дані або частина патентованих даних є загальнодоступними.

Звичайним способом використання телефонних даних є: одне, отримання оригінальних даних законними засобами; і два, застосувати доктрину добросовісного використання. Це спричинило б отримання копії телефонної книги безпосередньо від компанії, яка може бути безкоштовною або безкоштовною, та упорядкування фактів всередині іншим способом створення нової роботи. Ви намагалися отримати телефонну книгу в Сіетлі, коли ви знаходитесь в Чикаго? Ви побачите, що телефонна компанія, ймовірно, стягне з вас дивовижну плату. Однак якщо ви абонент телефону в Сіетлі і просите телефонну книгу Сіетла, плата буде набагато меншою або навіть безкоштовною. Мені довелося це робити багато разів. Є люди, які працюють лише за те, щоб особисто отримати телефонні книги у телекомів та сплатити гонорар, якщо потрібно.

Постанова цитується у справі Feist Publications проти сільського телефонуу вищенаведеному посиланні (у цій відповіді) покладається на два факти: один - це той факт, що дані, що надаються оператором сільського кооперативу як місцевою монополією, повинні бути оприлюднені за оперативною згодою; і два, що презентація твору захищена авторським правом, а не факти, що містяться внаслідок факту №1. Тому лише в межах вузьких параметрів цей випадок може розглядатися як прецедентний випадок і його слід відкинути. Зазвичай дані абонентів приватних компаній за угодою не повинні публікуватися. Ви повинні пам’ятати, що сільські кооперативи створюються як державні трести / утворення для загального блага і належать громадськості та / або членам кооперативу, а тому діють під законодавчими обмеженнями, які дозволяють йому затверджувати діяльність чи існувати. Кожен випадок різний.

У перші дні компанії Bell Telephone компанія мала бути монополістом на оприлюднення телефонних даних, якщо вони не обмежуються абонентом. Коли компанія Bell була розбита на дитячу Bells, Bell Atlantic, Bell South тощо, від цих компаній все ще вимагали монополії оприлюднювати телефонні дані, як було визначено раніше. Але з дерегуляцією, і справді з VoIP, стільниковими та іншими варіантами, монополії рідкісні. Тільки в монопольних сценаріях можна висловити цитований вище аргумент.

Продовжуючи цитувати посилання вище (у цій відповіді):

Тільки тому, що дані не захищені авторським правом, це не означає, що немає інших правових міркувань, які можуть вступити в дію, коли ви хочете використовувати чужий набір даних.

Майте це на увазі.

Будь-який заданий набір даних та його презентація, незалежно від походження даних, є роботою для себе. Публічне викладення фактів, незалежно від засобів, - це твір для себе.

Зважаючи на те, що ви не отримуєте дані звичайними засобами, незважаючи на те, що дані оприлюднюються, і незалежно від оригінального походження даних, це не вільне використання, як ви описали, і ви могли бути кримінально звинувачені і нести цивільну відповідальність за можливе порушення авторських прав, а також за злочинну злочину та незаконне використання комп'ютерного та іншого комунікаційного обладнання, яке не має дозволу і може бути підпорядковане статутам RICO

Чи законно використовувати? Ні! Абсолютно не! Він не був отриманий звичайними засобами, і не є ймовірним наміром оператора веб-сайту викрити власні дані. Будь-яка відсутність AUP (прийнятної політики використання) не допоможе вам. Законом передбачені припущення щодо "розумної людини", "розумного стандарту" та "розумного припущення", що захищає власника веб-сайту в цьому випадку. Нерозумно, щоб розумна людина використовувала "вразливість при розробці / створенні" веб-сайту для отримання даних для іншого використання. Крім того, якщо сайт отримує прибуток від його діяльності, подальший захист вступає в силу.

Одне, що не видається дуже зрозумілим в інших відповідях тут ...

Буде це "законно" чи ні, в першу чергу, залежить від країни. Якщо ми говоримо, наприклад, про США, то використання самих даних не є незаконним. Однак я б радив використовувати реальні дані з перепису США. Вони пропонують багато даних завдяки тому, що називають продуктами TIGER. Цей набір даних - це той самий набір даних, який фахівці з ГІС використовують для заповнення карт Bing, карт Google тощо.

Однак, хоча дані можуть бути вільно доступними, це не обов'язково означає, що дані цього відкритого API є юридично доступними. Ви кажете, що це у формі JSON, що дозволяє припустити, що його було "перероблено" з його початкового формату в цей формат - і цей власний формат може потрапити під інтелектуальну власність. Це, Я вважаю, було б незаконно використовувати, якщо у вас немає ліцензії на його використання. Як і інші тут, я не юрист, але компанії навіть не потрібно вказувати пальцем на вас і називати вас хакером. Власні дані - це власні дані, навіть якщо вони видаються ненавмисно. Вам слід зв’язатися з компанією та повідомити їм про всі ці дані, що потрапляють у зовнішній світ, і попросити дозволу на їх використання. Не роблячи цього і маючи це питання на обміні стеками як доказ, було б легко створити справу проти вас. Ви по суті сказали: "Це не виглядає законним, але мені це все одно подобається, і я хочу заробити на цьому гроші". Знову ж таки, я не юрист, але це не виглядає як чудовий спосіб розпочати судовий розгляд.

Річ у тому, що якщо ви цікавитесь назвами міст та іншими географічними даними, майже всі вони є у вільному доступі, незалежно від країни. Востаннє я знав, що США публікує найбільше даних, але є дані практично для кожної країни. Я не вагаюся сказати все лише тому, що я програміст, і довести твердження "для всіх" важко ... якщо ви вибираєте довільну країну, шанси краще, ніж добре, що дані там є. Якщо ви маєте на увазі конкретну країну, перейдіть до біржі стеків GIS . Головне, що ви шукаєте, називаються "shapefiles", тому поставте запитання на зразок "Де я можу отримати форму файлів для __________?" Також є OpenStreetMapяка є картою з відкритим кодом. Я не впевнений, наскільки легко отримувати їхні дані формату, але якщо ви можете отримати їх від них (і я не розумію, чому ви не змогли б, ви можете запускати офлайн-карти на основі локальних даних зберігається інформація), тоді у вас є всі необхідні вам дані, і ви чітко законно. Вам доведеться витратити час на масаж величезних обсягів даних до того, що вам потрібно, але файли форм завжди дуже чітко визначені і легко розбираються.

Незважаючи на те, що closetnoc обговорював проблему самих даних, існує більша юридична проблема: ви не маєте права доступу до API, що пропонує ці дані.

Основою для більшості законів про комп'ютерну злочинність є поняття "несанкціонований доступ до комп'ютерної системи". Не слід плутати це посилання на авторизацію в юридичному розумінні з поняттям авторизації, коли мова йде про контроль доступу. Власник системи не повинен захищати свою систему, щоб доступ до неї був незаконним, так само, як ви все ще руйнуєтесь, коли входите в будинок із незамкненими дверима.

У цьому випадку явна відсутність безпеки не означає дозвіл на її використання. Концепція Інтернету поки що має мало прецедентів у судовій практиці, але ви можете уявити використання протоколу HTTP 80 для загального публічного дозволу на перегляд веб-сайту. Навпаки, фонові протоколи RPC (навіть якщо вони можуть працювати на HTTP-запитах) зазвичай не є загальнодоступними, якщо оператор не опублікує послугу як таку, надавши дозвіл на використання третім сторонам.

Тому постійне використання API для отримання даних було б незаконним. Дія зняття дампа даних з API для створення власного набору даних також була б незаконною. Чи використання даних після цього незаконним - це гігантська сіра зона, але клозетнок охопив більшість проблем.

Звичайно, якщо ви модифікуєте дамп даних після факту, щоб він був не впізнаваний, довести, що ви вчинили злочин, буде неможливо. Але якщо ви зіткнулися з такою великою проблемою, чому б не надати дані замість законного джерела?

Мабуть, це залежить від характеру даних. Чисті дані (думаю, телефонний довідник) не можуть бути захищені авторським правом . Отже, список міст з API повинен бути чесною грою, щоб копіювати та показувати користувачам. Однак якщо в цьому API є описи міста, ці описи підпадають під законодавство про авторські права, і ви не зможете ними користуватися, не порушуючи авторські права.

Якщо ви можете легально скопіювати дані, я рекомендую скопіювати їх на свій власний сайт, щоб запобігти передчасному припиненню використання API.

(IANAL, а закони та норми сильно розрізняються по всьому світу, але певні речі, як правило, залишаються послідовними через договори про ІС. Якщо у вас є професійні проблеми за межами вашої спеціальності, проконсультуйтеся з професіоналом.)

Як правило, юридично API не вважається "призначеним для громадського споживання", якщо він активно не задокументований як громадський API із визначеними умовами надання послуг. Той факт, що громадськість може отримати API, не робить його загальнодоступним.

У випадках, коли статус самих даних не є надзвичайно публічним, а в кількох випадках, коли це, очевидно, є загальнодоступним надбанням, намір суб'єкта, що надає API, має велике значення. Якщо оператор веб-сайту задумав використовувати API для подачі динамічної веб-сторінки або мобільного додатку (щоб назвати два поширених приклади), будь-яке інше використання є «несанкціонованим», якщо десь спеціально не дозволено Якщо призначений споживач був фрагментом динамічного коду на певній веб-сторінці, з метою розміщення зрозумілих для людини пікселів на дисплеї певним (сподіваємось) приємним та корисним способом, будь-яке інше використання не допускається.

Технічна можливість входити в будівлю через відкрите вікно, не відкриваючи і не ламаючи нічого, не захистить вас від арешту за злочинну злочину ...

Крім того, майже ніколи не розумно грати в ігри «технічні здібності» та «оригінальні наміри» з юристом з інтелектуальної власності. Якщо нічого іншого, пам’ятайте, що адвокати, які постійно втрачають ці справи, не отримують за них зарплату.

Те, про що ви говорите, швидше за все, добре. Ви гіперпосилаєтесь на інформацію, потім трансформуєте її.

У дев'ятій схемі в Perfect 10, Inc. проти Amazon.com, Inc., [19] дев'ятий ланцюг знову розглядав, чи справедливим було використання пошукової системи зображення. Хоча факти були дещо ближчими, ніж у справі Arriba Soft, проте суд визнав використання обвинуваченого правопорушником справедливим, оскільки воно було "дуже трансформативним". Суд пояснив:

Ми робимо висновок, що суттєво трансформативний характер пошукової системи Google, особливо з огляду на її суспільну користь, переважає надмірну та комерційну використання мініатюр у цьому випадку. ... Ми також пам’ятаємо про вказівку Верховного Суду про те, що «чим більше трансформативної буде нова робота, тим меншою буде значущість інших факторів, таких як комерціалізм, які можуть протиставити знаходженню справедливого використання».

Крім того, суд у спеціальному рішенні про апеляційну скаргу США вирішив це:

Google не відображає копію фотографічних зображень, що порушують розмір у повному розмірі, для цілей Закону про захист авторських прав, коли Google обрамлює вбудовані між собою зображення, що з’являються на екрані комп'ютера користувача. Оскільки комп’ютери Google не зберігають фотографічні зображення, Google не має копії зображень для цілей Закону про авторські права. Іншими словами, Google не має жодних "матеріальних об'єктів ..., за якими фіксується твір ... і з якого твір можна сприймати, відтворювати чи іншим чином передавати", і тому копія не може надати копію.Замість того, щоб надсилати копію зображення, Google надає інструкції HTML, які спрямовують браузер користувача на комп'ютер видавця веб-сайту, який зберігає повнорозмірне фотографічне зображення. Надання цих інструкцій HTML не є рівнозначним показу копії. По-перше, інструкції HTML - це рядки тексту, а не фотографічне зображення. По-друге, інструкції HTML самі по собі не призводять до появи зображень, що порушують зображення, на екрані комп'ютера користувача. HTML просто надає адресу зображення в браузері користувача. Потім браузер взаємодіє з комп'ютером, який зберігає зображення, що порушує право. Саме ця взаємодія спричиняє зображення, що порушує зображення, на екрані комп'ютера користувача. Google може полегшити доступ користувача до зображень, що порушують авторські права. Однак, така допомога порушувала лише питання відповідальності щодо внесків, і це не є прямим порушенням прав власника на авторське право на показ. … Хоча посилання та кадра в режимі прямого зв'язку можуть змусити деяких користувачів комп'ютерів повірити, що вони переглядають одну веб-сторінку Google, Закон про авторські права, на відміну від Закону про торговельну марку, не захищає власника авторських прав від дій, що спричиняють плутанину споживачів.

Штат закону США після Arriba Soft and Perfect 10

Справа Arriba Soft виступала за те, що глибоке посилання та фактичне відтворення у копіях зменшеного розміру (або підготовка похідних творів зменшеного розміру) можуть бути виправданими як добросовісне використання, оскільки використання твором відповідача фактично або потенційно не відволікало торгівлю ринок з першої роботи; а також він надав громадськості раніше недоступну, дуже корисну функцію такого роду, як існує законодавство про авторські права для просування (пошук потрібної інформації в Інтернеті). Справа «Ідеальний 10» стосувалася аналогічних міркувань, але більше балансу інтересів. Ця поведінка була виправдана, оскільки цінність для громадськості інакше недоступної корисної функції переважала вплив на Ідеальне 10 можливо можливого використання Google.

Більше того, у Perfect 10 суд встановив далекосяжний прецедент на користь зв’язування та обрамлення, який суд дав повний перехід під авторське право. Він зробив висновок, що "посилання в лінійку та обрамлення можуть викликати у деяких користувачів комп'ютерів уявлення, що вони переглядають одну веб-сторінку Google, [але] Закон про авторські права ... не захищає власника авторських прав від дій, що спричиняють плутанину споживачів".

Наголос мій. зв'язаний

Ви просто використовуєте гіперпосилання, ви не робите копію, не показуєте копію, не завдаєте шкоди діловим інтересам, і ви сильно її трансформуєте. Я б сказав, що ти маєш кожен елемент, який повинен бути прекрасним. Але, IANAL.

Це законно до тих пір, поки вам не доведеться вводити пароль, щоб отримати його, але деякі менш складні компанії можуть вимагати злому та подавати на вас адвоката. Ви повинні бути готові захищатись. Ви не визнаєте себе винними, оскільки вони публікують свої дані для громадськості, але захистити себе це може коштувати. Прокурори та поліцейські направляються на корпорації. Це трапляється часто в повідомленнях про безпеку, коли хтось повідомляє компанію про дірку в безпеці, тоді компанія стягне з них злому. Компанія також може змінювати API без попереднього повідомлення, можливо, зламаючи вашу програму.

http://www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing

Зупиніть мене, якщо ви чули це раніше: Ентузіаст технологій стає дещо надмірним у перевірці на наявність дір ​​у безпеці, знаходить значну вразливість, висувається з інформацією, а потім створюються юридичні та особисті загрози.

http://www.bostonglobe.com/metro/2014/03/29/the-inside-story-mit-and-aaron-swartz/YvJZ5P6VHaPJusReuaN7SI/story.html

Зловмисник ховався десь на кампусі MIT, завантажуючи статті академічних журналів на сотні тисяч.