Як ми визначаємо "відтворювані дослідження"?

Це з'явилося в кількох питаннях зараз, і я щось цікавив. Чи перемістилося поле в цілому до "відтворюваності", орієнтуючись на доступність оригінальних даних, та на код, про який йдеться?

Мене завжди вчили, що ядро ​​відтворюваності не обов'язково, як я вже згадував, здатність клацати Виконати і отримувати однакові результати. Підхід до даних і коду, здається, припускає, що ці дані є правильними - що у зборі даних немає недоліків (часто це є явно хибними у випадку наукового шахрайства). Він також зосереджується на одній вибірці цільової сукупності, а не на повторюваності знахідки на кількох незалежних зразках.

Чому тоді акцент робиться на тому, щоб можна було повторно провести аналіз, а не дублювати дослідження з нуля?

Стаття, згадана в коментарях нижче, доступна тут .

"Відтворювальне дослідження" як відтворювальний аналіз

Відтворювані дослідження - це термін, який використовується в деяких дослідницьких областях для позначення конкретного проведення таких аналізів

• код перетворює необроблені дані та метадані в оброблювані дані,
• код виконує аналізи даних і
• код включає в себе аналіз у звіт.

Коли такі дані та код обмінюються, це дозволяє іншим дослідникам:

• виконувати аналізи, про які не повідомляли початкові дослідники
• перевірити правильність аналізів, проведених оригінальними дослідниками

Це використання можна побачити в обговоренні таких технологій, як Sweave . Наприклад, Фрідріх Лейш пише в контексті Sweave, що "звіт можна автоматично оновлювати, якщо змінити дані або аналіз, що дозволяє реально відтворити дослідження". Це також можна побачити в CRAN Task View на відтворюваних дослідженнях, де сказано, що "метою відтворюваних досліджень є прив’язання конкретних інструкцій до аналізу даних та експериментальних даних, щоб стипендія була відтворена, краще зрозуміла та перевірена".

Ширше використання терміна "відтворюваність"

Відтворюваність - це основна мета науки. Це не нове. Звіти про дослідження включають розділи щодо методів та результатів, які мають окреслити, як дані створювалися, оброблялися та аналізувалися. Загальне правило полягає в тому, що надані деталі повинні бути достатніми для того, щоб відповідний компетентний дослідник міг взяти надану інформацію та повторити дослідження.

Відтворюваність також тісно пов'язана з поняттями повторюваності та узагальнення.

Таким чином, термін "відтворювані дослідження", сприйнятий буквально, як застосований до таких технологій, як Sweave, є помилковим, враховуючи, що він пропонує релевантність ширшу, ніж охоплює. Також, представляючи такі технології, як Sweave, дослідникам, які не використовували таких технологій, такі дослідники часто дивуються, коли я називаю процес "відтворюваним дослідженням".

Кращий термін, ніж "відтворювані дослідження"

Зважаючи на те, що "відтворювані дослідження", що використовуються в контексті Sweave, стосуються лише одного аспекту відтворюваних досліджень, можливо, слід прийняти альтернативний термін. Можливі альтернативи включають:

• Відтворювальний аналіз:
  • Джон Д Кук вжив цей термін
  • Дженніфер Блекфорд використовує термін "надійний та відтворюваний аналіз"
• Аналіз даних, що відтворюються
  • Крістоф Пузат використовує цей термін
• Відтворюваний статистичний аналіз
  • На сайті Biostats у Вандербільті використовується термін "відтворюваний статистичний аналіз та звітність"
• Відтворювальна звітність

Всі перераховані вище терміни є більш точним відображенням того, що тягне за собою аналіз Sweave. Відтворюваний аналіз короткий і милий. Додавання "даних" або "статистичних" ще більше роз'яснює речі, але також робить термін і довшим, і вужчим. Крім того, "статистичний" має вузьке і широке значення, і, безумовно, у вузькому значенні, значна частина обробки даних не є статистичною. Таким чином, широта, що передбачається терміном "відтворювальний аналіз", має свої переваги .

Йдеться не лише про відтворюваність

Іншим додатковим питанням, що стосується терміна "відтворювані дослідження", є мета технологій, що нагадує, а не просто "відтворення". Є кілька взаємопов'язаних цілей:

• Відтворюваність
  • Чи можна легко повторно провести аналіз, щоб перетворити необроблені дані у підсумковий звіт з однаковими результатами?
• Правильність
  • Чи відповідає аналіз даних намірам дослідника?
  • Чи правильні наміри дослідника?
• Відкритість
  • Прозорість, підзвітність
    • Чи можуть інші перевірити та перевірити точність проведених аналізів?
  • Розширюваність, модифікованість
    • Чи можуть інші змінювати, розширювати, повторно використовувати та збивати дані, аналізи чи обидва для створення нових науково-дослідних робіт?

Є аргумент, що відтворювальний аналіз повинен сприяти правильному аналізу, оскільки є письмовий запис аналізів, який можна перевірити. Крім того, якщо дані та код спільні, це створює підзвітність, яка спонукає дослідників перевіряти їх аналіз, а також дозволяє іншим дослідникам відзначати виправлення.

Відтворюваний аналіз також тісно вписується в концепції навколо відкритих досліджень. Звичайно, дослідник може використовувати технологію, що нагадує Плетіння, лише для себе. Принципи відкритих досліджень заохочують обмін даними та кодом аналізу, щоб забезпечити більше використання та відповідальність.

Це насправді не критика використання слова "відтворюється". Скоріше, це просто підкреслює, що використання технологій, подібних до переплетення, необхідно, але недостатньо для досягнення цілей відкритих наукових досліджень.

Наявність доступу до даних та коду для аналізу у простому у виконанні формі є обов'язковим для відтворення досліджень. Після того, як ви переконаєтесь, що аналіз працює, ви можете замінити власний код / ​​дані там, де ви скептично ставитеся до оригіналу автора. Я б сказав, що більшість статей, що містять статистику, я читаю, принаймні одна частина методології залишається невиразною. Мої спроби відтворити ці аналізи часто є невдалими (і завжди забирають багато часу), але дуже важко сказати, чи це через шахрайство, людську помилку чи (що набагато частіше) моє вирішення цих неоднозначностей інакше, ніж автор. Отже, наявність даних + код для документу не гарантує, що його висновки є правдивими, але це значно спрощує їх критику або розширення.

Також "відтворювані дослідження" - питання ступеня. Тож відтворювальний дослідницький рух можна розглядати як заохочувальне дослідження, яке є "більш відтворюваним", ніж норма, а не вимагає, щоб дослідження відповідали якомусь мінімальному порогу. Я б здогадався, що "випустити дані та код" зараз у моді, оскільки це відносно легкий і не загрозливий крок.

Вміння запустити все - це відправна точка для відтворюваного дослідження. Це дозволяє показати, що ви фактично використовуєте ту саму процедуру. Після цього - і лише після цього - ви можете продовжувати дослідження свого однолітка. Іншими словами, сувора відтворюваність повинна сприйматися не як час, коли дослідження рухаються вперед, а як орієнтир, консенсус , те, на що люди згодні. Хіба це не фундаментально, щоб дістатися далі?

Крім того, згідно з обговоренням Доного (читайте розділ 2 "скандал"), метою відтворюваного дослідження є також перевірити стійкість даного коду. По-перше, граючи з кодом, роблячи модифікацію шліфу, що не було зроблено в роботі (тому що ми не хочемо паперів з 30 цифрами ...). Я думаю, що концепція відтворюваного дослідження в літературі містить ідею про потужний надійний орієнтир. Він майже містить ідею йти далі.