Загальнодоступні набори / API соціальних мереж

Як розширення до нашого великого списку загальнодоступних наборів даних , я хотів би знати, чи є список загальнодоступних наборів даних / сканування API соціальних мереж. Було б дуже добре, якби поряд із посиланням на набір даних / API були додані характеристики наявних даних. Така інформація повинна бути і не обмежується:

• назва соціальної мережі;
• яку інформацію про користувача він надає (повідомлення, профіль, мережа дружби, ...);
• чи дозволяє сканувати його вміст через API (і швидкість: 10 / хв, 1 к / місяць, ...);
• чи просто надає знімок усього набору даних.

Будь-які пропозиції та додаткові характеристики, які слід додати, дуже вітаються.

Пару слів про API соціальних мереж. Близько року тому я написав огляд API популярних соціальних мереж для дослідників. На жаль, це російською мовою. Ось підсумок:

Twitter ( https://dev.twitter.com/docs/api/1.1 )

• майже всі дані про твіти / тексти та користувачів доступні;
• відсутність соціодемографічних даних;
• чудовий потоковий API: корисний для обробки тексту в режимі реального часу;
• багато обгортки для мов програмування;
• отримати мережеву структуру (з'єднання) можливо, але дорого (1 запит за 1 хвилину).

Facebook ( https://developers.facebook.com/docs/reference/api/ )

• обмеження швидкості: близько 1 запиту в секунду;
• добре задокументований, присутні пісочниці;
• FQL (SQL-подібний) та API «регулярний відпочинок»;
• дані про дружбу та наявні соціодемографічні особливості;
• багато даних перебувають поза горизонтом подій : дані лише друзів та друзів друзів більш-менш повні, майже нічого не можна було дослідити щодо випадкового користувача;
• деякі дивні помилки API і виглядає так, що ніхто про це не піклується (наприклад, деякі функції, доступні через FQL, але не через синонім Graph API).

Instagram ( http://instagram.com/developer/ )

• обмеження ставок: 5000 запитів на годину;
• API в режимі реального часу (як Streaming API для Twitter, але з фотографіями) - підключення до нього трохи складне: використовуються зворотні дзвінки;
• відсутність соціодемографічних даних;
• фотографії, фільтри доступні;
• несподівані недосконалості (наприклад, можна зібрати лише 150 коментарів до публікації / фотографії).

Foursquare ( https://developer.foursquare.com/overview/ )

• обмеження ставок: 5000 запитів на годину;
• царство геосоціальних даних :)
• досить закритий від досліджень через проблеми конфіденційності. Для збору даних про чеки потрібно скласти одночасно композитний аналізатор, що працює з 4sq, bit.ly та twitter API;
• знову: відсутність соціодемографічних даних.

Google+ ( https://developers.google.com/+/api/latest/ )

• близько 5 запитів в секунду (спробуйте перевірити);
• основні методи: діяльність та люди;
• як у Facebook, багато особистих даних для випадкового користувача приховано;
• відсутність даних про з'єднання користувачів.

І поза конкуренцією: я переглянув соціальні мережі для російських читачів, а мережа №1 тут - vk.com . Він перекладений багатьма мовами, але популярний лише в Росії та інших країнах СНД. Посилання на документи API: http://vk.com/dev/ . І з моєї точки зору, це найкращий вибір для дослідження домашніх соцмереж. Принаймні, в Росії. Ось чому:

• обмеження швидкості: 3 запити в секунду;
• доступні публічні текстові та медіа-дані;
• наявні соціодемографічні дані: для рівня випадкових користувачів близько 60-70%;
• доступні також зв’язки між користувачами: доступні майже всі дані про дружбу для випадкового користувача;
• деякі спеціальні методи: наприклад, існує спосіб отримати статус в режимі он-лайн / офлайн для точного користувача в режимі реального часу, і можна створити графік для своєї аудиторії.

Сама по собі це не соціальна мережа, але Stackexchange періодично публікує всю свою дамп базу даних:

• Дамп даних Stackexchange розміщений на archive.org
• Пост, що описує схему скидання бази даних

Ви можете дістати певну соціальну інформацію, аналізуючи, які користувачі запитують і відповідають один одному. Одна приємна річ, що оскільки повідомлення позначені тегами, ви можете легко аналізувати підгрупи.

Хороший список публічно доступних наборів даних у соціальних мережах можна знайти на веб-сайті проекту Stanford Network Analysis Project:

Набори даних SNAP

Сайт містить дані соціальних мереж Інтернету (Facebook, Twitter, Google Plus), мережі цитат для академічних журналів, мережі закупівель від Amazon та декількох інших мереж. Вони мають спрямовані, непрямі та двосторонні графіки та всі набори даних - це знімки, які можна завантажити у стисненому вигляді.

Приклад з Німеччини: Xing-сайт, схожий на linkedin, але обмежений німецькомовними країнами.

Посилання на його центральний розробник: https://dev.xing.com/overview

Забезпечує доступ до: профілів користувачів, розмов між користувачами (обмежується самим користувачем), оголошень про роботу, контактів та контактів контактів, новин з мережі та деяких геолокаційних програм.

Так, у нього є api, але я не знайшов інформацію про ставку. Але мені здається, що деяка інформація обмежується згодою користувача.

Мережевий репозиторій ( http://networkrepository.com ) має багато соціальних мереж, веб-графіки, біо та мережі мозку тощо. Найкраще, що вони також мають інтерактивні візуальні аналітичні інструменти для порівняння / дослідження різних соціальних мереж.

Невелику колекцію таких посилань можна знайти тут . Багато з них є соціальними графіками.

Тайський текст з різних платформ соціальних медіа + мітки настрою (позитивні, нейтральні, негативні).