Як ефективно керувати проектом статистичного аналізу?

Ми часто чуємо про управління проектами та схеми дизайну в інформатиці, але рідше - про статистичний аналіз. Однак, здається, що вирішальним кроком до розробки ефективного та довговічного статистичного проекту є організація речей.

Я часто виступаю за використання R та послідовної організації файлів в окремих папках (необроблений файл даних, перетворений файл даних, R-сценарії, фігури, нотатки тощо). Основна причина такого підходу полягає в тому, що згодом може бути простіше запустити аналіз (коли ви забули, як, наприклад, ви виробили заданий сюжет).

Які найкращі практики управління статистичними проектами чи рекомендації, які ви хотіли б дати з власного досвіду? Звичайно, це стосується будь-якого статистичного програмного забезпечення. ( будь-яку відповідь за повідомлення, будь ласка )

Я складаю коротку серію вказівок, які я знайшов щодо SO (як запропонував @Shane), Biostar (надалі, BS) та цього SE. Я намагався визнати право власності на кожен предмет та вибрати першу чи високообосновану відповідь. Я також додав власні речі та позначив елементи, характерні для [R] середовища.

Управління даними

• Створіть структуру проекту для збереження всіх речей у потрібному місці (дані, код, цифри тощо, giovanni / BS)
• Ніколи не змінюйте необроблені файли даних (в ідеалі вони повинні бути доступними лише для читання), не копіюйте / перейменуйте на нові під час перетворення, чищення тощо.
• Перевірка узгодженості даних ( whuber / SE)
• Управління залежностями сценарію та потоком даних за допомогою інструмента автоматизації побудови, як GNU make ( Карл Броман / Захарі Джонс )

Кодування

• впорядкувати вихідний код у логічних одиницях або будівельних блоках ( Josh Reich / hadley / ars / SO; giovanni / Khader Shameer / BS)
• окремий вихідний код від редагування матеріалів, особливо для великих проектів - частково перекриваючись попереднім пунктом та звітом
• Документуйте все, наприклад, [R] кисень ( Shane / SO) або послідовне самоанотація у вихідному файлі - хороша дискусія щодо Medstats, Документування аналізів та параметрів редагування даних
• [R] Спеціальні функції можна помістити у виділений файл (який можна отримати за необхідності), у новій обстановці (щоб уникнути заселення простору імен верхнього рівня, Brendan OConnor / SO) або пакет ( Dirk Eddelbuettel / Шейн / SO)

Аналіз

• Не забудьте встановити / записати насіння, яке ви використовували під час виклику RNG або стохастичних алгоритмів (наприклад, k-засоби)
• Для досліджень в Монте-Карло може бути цікавим зберігання специфікацій / параметрів в окремому файлі ( суматра може бути хорошим кандидатом, giovanni / BS)
• Не обмежуйтеся однією графікою на змінну, використовуйте багатоваріантні (трелі) дисплеї та інтерактивні засоби візуалізації (наприклад, GGobi)

Версія

• Використовуйте якийсь контроль редагування для легкого відстеження / експорту, наприклад, Git ( Sharpie / VonC / JD Long / SO) - це випливає з приємних питань, заданих @Jeromy та @Tal
• Регулярно створюйте резервні копії всього ( Sharpie / JD Long / SO)
• Ведіть журнал своїх ідей або покладайтеся на трекер випуску, як, наприклад, ditz ( giovanni / BS) - частково зайвий з попереднім пунктом, оскільки він доступний у Git

Редагування / звітування

• [R] Полотна ( Matt Parker / SO) або більш сучасний в’язальник
• [R] Brew ( Шейн / SO)
• [R] R2HTML або ascii

В якості додаткової примітки, Хедлі Вікхем пропонує вичерпний огляд управління проектами R , включаючи відтворювану приклад та уніфіковану філософію даних .

Нарешті, у своєму R-орієнтованому документообізі аналізу статистичних даних Олівер Кірчкамп пропонує дуже детальний огляд того, чому прийняття та дотримання конкретного робочого процесу допоможе статистикам співпрацювати між собою, забезпечуючи цілісність даних та відтворюваність результатів. Далі воно включає деяке обговорення використання плетіння та системи контролю версій. Користувачі статистики можуть вважати корисним робочий процес аналізу даних Дж. Скотта Лонга, використовуючи Stata .

Це не дає конкретної відповіді, але ви, можливо, захочете ознайомитись із цими спорідненими питаннями про stackoverflow:

• "Робочий процес для статистичного аналізу та складання звітів"
• "Організація вихідного коду R"
• "Як організувати великі програми R?"
• "Контроль R та версій для аналітика соло даних"
• "Як розробка програмного забезпечення порівнюється зі статистичним програмуванням / аналізом?"
• "Як ви поєднуєте" Ревізію контролю "з" WorkFlow "для R?"

Можливо, вас також зацікавить нещодавній проект Джона Майлза Уайта щодо створення шаблону статистичного проекту.

Це збігається з відповіддю Шейна, але, на мій погляд, є дві основні опори:

• Відтворюваність ; не тільки тому, що ви не закінчитеся результатами, які зроблені "якось", але також зможете швидше повторити аналіз (за іншими даними або з незначно зміненими параметрами) та матимете більше часу на роздуми про результати. Щоб отримати величезну кількість даних, ви можете спробувати свої ідеї на невеликому "відтворенні", а потім легко поширити на всі дані.
• Хороша документація ; коментували сценарії під контролем версій, деякі дослідницькі журнали, навіть система квитків для більш складних проектів. Покращує відтворюваність, полегшує відстеження помилок і пише остаточні звіти тривіально.

ван Belle є джерелом правил успішних проектів в області статистики.

Всього мої 2 копійки. Я вважаю, що Notepad ++ корисний для цього. Я можу підтримувати окремі сценарії (управління програмою, форматування даних тощо) та .pad-файл для кожного проекту. Виклик файлу .pad - всі сценарії, пов'язані з цим проектом.

Хоча інші відповіді чудові, я хотів би додати ще один настрій: уникайте використання SPSS. Я використовував SPSS для магістерської дисертації, і зараз я працюю на регулярній роботі з дослідження ринку.

Під час роботи з SPSS було надзвичайно важко розробити організований статистичний код через те, що SPSS погано обробляє декілька файлів (звичайно, ви можете обробляти декілька файлів, але це не так безболісно, ​​як R), оскільки ви не можете зберігати набори даних до змінної - ви повинні використовувати "набір даних активувати х" - код, який може бути загальним болем. Також синтаксис є незграбним і заохочує скорочення, що робить код ще більш нечитабельним.

Ноутбуки Юпітера, які працюють з R / Python / Matlab / тощо, усувають клопот запам'ятовувати, який сценарій генерує певну фігуру. У цій публікації описаний охайний спосіб збереження коду та фігури прямо поруч. Зберігання всіх цифр для статті чи дипломної роботи в одному зошиті дозволяє легко знайти код, що приєднується.

Ще краще, насправді, адже ви можете прокрутити, скажімо, десяток фігур, щоб знайти потрібну. Код зберігається прихованим, поки не знадобиться.