Який найкращий спосіб змінити / змінити дані?

Я науковий співробітник лабораторії (волонтер). Я та мала група отримали завдання щодо аналізу даних для набору даних, отриманих із великого дослідження. На жаль, дані були зібрані за допомогою якогось інтернет-додатка, і вони не були запрограмовані для виведення даних у найбільш зручній формі.

На малюнках нижче зображено основну проблему. Мені сказали, що це називається "Переформатування" або "Перебудова".

Запитання: Який найкращий процес для переходу від малюнка 1 до малюнка 2 з великим набором даних з більш ніж 10 к записами?

Як я зазначив у своєму коментарі , у питанні недостатньо деталей, щоб сформулювати реальну відповідь. Оскільки вам потрібна допомога навіть у пошуку правильних термінів та формулюванні свого питання, я можу коротко висловитись у загальних рисах.

$\rightarrow 2$

У певному сенсі очищення даних можна здійснити в будь-якому програмному забезпеченні, а також можна виконати за допомогою Excel або за допомогою R. У обох варіантів будуть плюси і мінуси:

• Excel: Excel - це майже напевно найпоширеніший вибір для очищення даних (див. R fortunes # 59 pdf ). Статистики також вважають поганим вибором. Основна причина полягає в тому, що важко переконатися, що ви все схопили, або що ви ставились до всього однаково, і не було записано змін, які ви внесли, тому ви не зможете переглянути ці зміни пізніше. Перевагою використання Excel є те, що вам буде легше бачити, що ви робите, і вам не потрібно багато знати, щоб внести зміни. (Статистики вважатимуть останнє додатковою умовою .)

• R: R вимагатиме крутої кривої навчання. Якщо ви не дуже знайомі з R або програмуванням, те, що можна зробити досить швидко і легко в Excel, буде неприємно намагатися спробувати R. З іншого боку, якщо вам колись доведеться це робити ще раз, це навчання було б добре витрачений час. Крім того, можливість запису та збереження вашого коду для очищення даних в R зменшить перелічені вище мінуси. Нижче наведено кілька посилань, які допоможуть вам розпочати роботу з цими завданнями на R:

  Ви можете отримати багато корисної інформації про переповнення стека :

  • Як одна перепорядкована колона в R?
  • R: Як я можу впорядкувати рядки матриці, data.frame або вектора відповідно до іншого?

  Quick-R також є цінним ресурсом:

  • сортування

  Введення чисел у числовий режим:

  • Перетворити письмове число в число в R
  • "strtoi" - це спеціалізована функція для перетворення, якщо це необхідно, з гексидиксимальних тощо

  Ще одне безцінне джерело для вивчення R - це веб-сайт зі статистикою UCLA :

  • робота з факторними змінними (для вашої "в основному згодні" тощо)

  Нарешті, ви завжди можете знайти багато інформації зі старого доброго Google:

  • Цей пошук: очищення даних в r , містить ряд навчальних посібників (жоден з яких я не працював, FTR).

Оновлення: це поширене питання щодо структури вашого набору даних, коли у вас є кілька вимірювань на "навчальну одиницю" (у вашому випадку - особу). Якщо у вас є один рядок для кожної людини, ваші дані, як кажуть, містяться у "широкій" формі, але тоді ви обов'язково матимете кілька стовпців для змінної відповіді, наприклад. З іншого боку, у вас може бути лише один стовпець для змінної вашої відповіді (але в результаті є кілька рядків на людину), і в цьому випадку ваші дані, як кажуть, є у "довгій" формі. Переміщення між цими двома форматами часто називають "переформатуванням" ваших даних, особливо у світі.

• Стандартною функцією R для цього є «переформатування . На довідковому веб-сайті статистики UCLA є посібник із використання reshape().
• Багато хто думає reshape, що важко працювати. Хедлі Вікхем створила пакет під назвою reshape2 , який призначений для спрощення процесу. Персональний сайт Хедлі для reshape2 знаходиться тут , огляд Quick-R знаходиться тут , і є хороший вид підручник тут .
• Питання щодо переформатування даних виникають дуже багато. Більшість із них збираються переходити від широкого до довгого, тому що, як правило, стикаються аналітики даних. Ваше запитання - про те, щоб перейти від довгого до широкого, що набагато рідше, але все ще існує багато тем, і ви можете переглянути їх за допомогою цього пошуку .
• Якщо ваше серце налаштоване на те, щоб зробити це за допомогою Excel, є нитка про те, щоб написати макрос VBA для Excel для копіювання функцій переформатування тут: melt / rehshape в Excel за допомогою VBA?

Спробуйте виконати наступне використання R:

> ddf
   sess_id user_id     quest  response
1        1       a       age        29
2        1       a satisfied  st_agree
3        1       a    gender      male
4        1       a     phone    iphone
5        2       a       age        29
6        2       a satisfied not_agree
7        2       a    gender    female
8        2       a     phone    iphone
9        3       b       age        29
10       3       b satisfied     agree
11       3       b    gender      male
12       3       b     phone   android
> 
> library(reshape2)
> dcast(ddf, sess_id+user_id ~ quest, value.var='response')
  sess_id user_id age gender   phone satisfied
1       1       a  29   male  iphone  st_agree
2       2       a  29 female  iphone not_agree
3       3       b  29   male android     agree

У масштабі це називається операцією "вибух" і може бути виконана на DataFrame. Якщо ваші дані є rdd, ви спочатку перетворите в dataFrame за допомогою toDFкоманди, а потім скористайтеся .explodeметодом.