Організовані процеси очищення даних

З мого обмеженого спілкування з інформацією про використання R, я зрозумів, що очищення поганих даних є дуже важливою частиною підготовки даних до аналізу.

Чи є найкращі практики чи процеси очищення даних перед їх обробкою? Якщо так, чи є автоматизовані або напівавтоматизовані інструменти, які реалізують деякі з цих найкращих практик?

R містить деякі стандартні функції для обробки даних, які можна використовувати для очищення даних, у своєму базовому пакеті ( gsub, transformтощо), а також у різних сторонніх пакетах, таких як stringr , reshape / reshape2 та plyr / dplyr . Приклади та кращі практики використання цих пакунків та їх функцій описані в наступній роботі: http://vita.had.co.nz/papers/tidy-data.pdf .

Крім того, R пропонує деякі пакети, спеціально орієнтовані на очищення та трансформацію даних:

• editrules ( http://cran.r-project.org/web/packages/editrules/index.html )
• deducorrect ( http://cran.r-project.org/web/packages/deducorrect/index.html )
• StatMatch ( http://cran.r-project.org/web/packages/StatMatch/index.html )
• MatchIt ( http://cran.r-project.org/web/packages/MatchIt/index.html )
• DataCombine ( http://cran.r-project.org/web/packages/DataCombine )
• data.table ( http://cran.r-project.org/web/packages/data.table )

Комплексний та узгоджений підхід до очищення даних в R, включаючи приклади та використання команд редагування та дедукційного виправлення , а також опис робочого процесу ( рамки ) очищення даних в R, представлений у наступному документі, який я настійно рекомендую: http : //cran.r-project.org/doc/contrib/de_Jonge+van_der_Loo-Introduction_to_data_cleaning_with_R.pdf .

З моєї точки зору, це питання підходить для відповіді на два кроки. Перша частина, назвемо це м'якою попередньою обробкою , може сприйматися як використання різних алгоритмів виведення даних для попередньої обробки даних таким чином, що робить її придатною для подальшого аналізу. Зауважте, що це може бути сам аналіз, якщо мета досить проста, щоб її можна було вирішити в одному кадрі.

Друга частина, жорстка попередня обробка , насправді відбувається перед будь-яким іншим процесом і може сприйматися як використання простих інструментів або скриптів для очищення даних, вибору конкретного вмісту для обробки. До цієї проблеми POSIX надає нам чудовий набір магічних інструментів, за допомогою яких можна складати стислі та дуже потужні сценарії попередньої обробки.

Наприклад, для людей, які мають справу з даними, що надходять із соціальних веб-сайтів (twitter, facebook, ...), для пошуку даних зазвичай виходять файли із дуже конкретним форматом - хоча і не завжди добре структуровані, оскільки вони можуть містити пропущені поля тощо. . У цих випадках простий awkскрипт може очистити дані, створивши дійсний вхідний файл для подальшої обробки. З безлічі чарівному, можна також відзначити grep, sed, cut, join, paste, sort, і все безліч інших інструментів.

У випадку, якщо у простому вихідному файлі є занадто багато азотистих пісень, може знадобитися також створити пакет методів очищення даних. У таких випадках зазвичай краще використовувати мови скриптів (крім оболонок), такі як Python, Ruby та Perl. Це дозволяє будувати API для вибору конкретних даних дуже простим та багаторазовим способом. Такі API іноді оприлюднюються своїми письменниками, такими як IMDbPY , API обміну стеками та багато інших.

Отже, відповідаючи на питання: чи є найкращі практики? Зазвичай це залежить від вашого завдання. Якщо ви завжди матимете один і той же формат даних, зазвичай краще написати впорядкований скрипт для його попередньої обробки; тоді як, якщо вам просто потрібна проста і швидка очистка на якомусь наборі даних, розраховуйте на інструменти POSIX для стислих скриптів оболонки, які виконають всю роботу набагато швидше, ніж сценарій Python тощо. Оскільки очищення залежить як від набору даних, так і від ваших цілей, важко все вже зробити. Тим не менш, є багато API, які ставлять вас на півдорозі з проблемою.

Однією з причин того, що чистка даних рідко є повністю автоматизованою, полягає в тому, що потрібно стільки суджень, щоб визначити, що означає "чистий", враховуючи вашу конкретну проблему, методи та цілі.

Це може бути таким же простим, як введення значень для будь-яких відсутніх даних, або може бути таким же складним, як діагностування помилок введення даних або помилок перетворення даних з попередніх автоматизованих процесів (наприклад, кодування, цензури, перетворення). У цих останніх двох випадках дані виглядають добре зовнішнім виглядом, але це дійсно помилково. Такий діагноз часто вимагає ручного аналізу та обстеження, а також позадіапазонної інформації, такої як інформація про джерела даних та методи, які вони використовували.

Крім того, деякі методи аналізу даних краще працюють, коли помилкові або відсутні дані залишаються порожніми (або N / A), а не імпульсуються або надається значення за замовчуванням. Це вірно, коли є явні уявлення про невизначеність та незнання, наприклад, функції віри Демпстера-Шафера.

Нарешті, корисно мати специфічну діагностику та показники для процесу очищення. Чи відсутні випадкові або помилкові значення, розподілені випадковим чином, або вони зосереджені будь-яким чином, що може вплинути на результат аналізу. Корисно перевірити вплив альтернативних стратегій чи алгоритмів очищення, щоб побачити, чи впливають вони на кінцеві результати.

Враховуючи ці побоювання, я дуже підозріло ставляться до будь-якого методу чи процесу, який обробляє очищення даних поверхнево, кавалерно або повністю автоматизовано. У цих деталях ховається багато чортів, і це приділяє їм серйозну увагу.

Про автоматичне очищення: Ви дійсно не можете автоматично очистити дані, оскільки кількість помилок та визначення помилки часто залежать від даних. Напр .: Ваш стовпець "Дохід" може містити негативні значення, які є помилкою. Ви повинні щось робити у випадках. З іншого боку, стовпець "щомісячні заощадження" може розумно містити негативні значення.

Такі помилки дуже залежать від домену - тому, щоб їх знайти, ви повинні мати доменні знання, те, на чому людина перевершує, автоматизованих процесів не так багато.

Де можна повторити проекти, де можна і потрібно автоматизувати. Наприклад, звіт, який повинен складати щомісяця. Якщо ви виявите помилки, вам слід встановити автоматизований процес, який може виявити подібні помилки в наступні місяці, звільняючи час.

Я думаю, що не існує універсальної техніки "очищення" даних, перш ніж проводити фактичні дослідження. З іншого боку, я прагну зробити якомога більше відтворюваних досліджень . Проводячи відтворювані дослідження, якщо ви використовували методи очищення від помилок або з поганими параметрами / припущеннями, вони можуть виявити інші.

Є приємний плеєр пакету R, який дуже допомагає у відтворюваних дослідженнях.

Звичайно, не всі дослідження можуть бути повністю відтворені (наприклад, живі дані Twitter), але принаймні ви можете легко документувати етапи очищення, форматування та попередньої обробки.

Ви можете перевірити мою оцінку, підготовлену до курсу «Відтворювальне дослідження» в Курсі .

OpenRefine (раніше Google Refine) - це чудовий інструмент, де можна інтерактивно проводити очищення та перетворення даних. Ваш кінцевий вихід може бути експортований до різноманітних стандартних форматів (json, csv) або до будь-якого спеціального формату (наприклад: wiki).

Точні дублікати можна обробляти в OpenRefine шляхом сортування + за допомогою функції "пусто". Крім того, він має приблизну (нечітку) функцію кластеризації, де ви можете згрупувати схожі дублікати, такі як назви компаній або адреси. Сама ця функція робить її приголомшливою.

Цьому курсу присвячений Курсера. Можливо, ви захочете перейти техники, про які вони згадують, і важливою частиною є знати, коли використовувати.

https://www.coursera.org/learn/data-cleaning

Це завжди краще робити це вручну, а не автоматизувати, оскільки кожен набір даних має свої проблеми та проблеми, і не всі кроки застосовні до всіх наборів даних.