Як рецензент, чи можу я обґрунтувати запит про надання даних та коду, навіть якщо журнал цього не робить?

23

Оскільки наука повинна бути відтвореною, за визначенням зростає визнання того, що дані та код є важливим компонентом відтворюваності, про що йдеться в Єльському круглому столі для обміну даними та кодом .

Переглядаючи рукопис журналу, який не потребує обміну даними та кодом, чи можу я вимагати надання даних та коду доступними

мені під час огляду
публічно під час публікації (журнал підтримує доповнення)

також, як я можу сформулювати такий запит?

оновлення : хоча мене цікавить загальний випадок, цей конкретний випадок складається з мета-аналізу з усіма раніше опублікованими даними, і код - це прості лінійні моделі в SAS

сторона зауважила, що можливість робити перехресне дослідження (як це мета мета-аналізу) була б значно розширена, якби більше досліджень надавали необгрунтовані дані

оновлення 2 :

Я попросив дані та код від редактора для ознайомлення, редактор вважав запит розумним, і я отримав запитуваний матеріал (достатньо, але із криптовалютними назвами змінних, без метаданих та кількох вбудованих коментарів) протягом доби.

— Девід Лебо
джерело

3

Особисто я був би в порядку з кодом за будь-яких обставин. Дані - це ще одне питання. Якщо воно вже не є загальнодоступним, я, мабуть, не маю дозволу ділитися ним з ким-небудь. Я підозрюю, що це робить запит даних необгрунтованим за багатьох обставин.

— Енді Ш

4

Це звучить як щось, що ви повинні обговорити зі своїм асоційованим редактором чи редактором. Якщо вони виконують свою роботу, вони повинні мати можливість надати вам рекомендації і, ймовірно, можуть служити точкою контакту для авторів для будь-якого такого запиту.

— кардинал

1

Мені здається, що багато прикладів та дискусій, що випливають із них, базуються на анекдотичних ситуаціях, які можуть сильно відрізнятися залежно від дисципліни та даних, про які ми говоримо. Звичайно, деякі ситуації здаються цілком розумними для поширення даних, але це не обов'язково характеризує всі ситуації. Це питання дуже швидко перетворюється на рент!

— Енді Ш

1

@Andy будь-які пропозиції щодо того, як відмовитися від рентгена? наприклад, розрізнення, які слід робити в ОП або редагувати відповіді (це все-таки CW).

— Абе

1

Я думаю, що ця форма має зміщення вибору :-). Більшість з нас тут, тому що більшість з нас певним чином підтримує ідею ОП.

— suncoolsu

7

Що стосується отримання даних рецензента, ви маєте право на них, якщо вони вам потрібні для належного завершення огляду. Більше рецензентів повинен запитувати дані та оцінювати їх. Багато журналів мають політику, згідно з якою вони можуть потребувати коду даних та аналізу для огляду.

Наявність на момент публікації мені незрозуміла. Здається, ви заявляєте, що хочете змусити проблему, щоб дані були оприлюднені як умова публікації. Це погана ідея, якщо це вже не журнальна політика. Ви робите публікацію несправедливою рухомою ціллю. Вони заявили, очікуючи, що це не буде вимогою, і ви, ні редактор, повинні змінити гру.

Якщо невідомі багатьом дослідникам публічно фінансуються дослідники, вони зобов’язані зробити свої дані загальнодоступними. Наприклад, у більшості грантів NIH є пункти, коли дослідник повинен бути готовим зі своїми даними. Більшість державних агентств, що надають гранти, мають положення щодо обміну даними, які змушують дослідника ділитися тим, що вони знаходять (можливо, сила є трохи сильною, враховуючи, що втратити грант на це дуже важко ... можливо, все ж втратити оновлення). Громадськість платила за дані, тому громадськість має право на неї --- у випадку досліджень на людях, які мають право на це анонімізовано.

Одні з найдорожчих та чутливих даних, що збираються, дані FMRI людини - це також одні з найбільш часто оприлюднених. Не лише PLoS, а й основні галузеві журнали вимагають подання даних та ведення загальнодоступного банку даних. Я думаю, що це дуже багато говорить про людей, які заперечують з причини витрат (це дуже дорого) та конфіденційності (це людські дані з невеликих досліджень, а іноді й унікальних клінічних груп населення, які можуть бути дуже чутливими). Це причини, які роблять ці дані більш цінними для населення. Дослідники, які відмовилися від таких даних, роблять сумніви людям, які їх придбали (всім), і їм потрібен урок того, які їх обов'язки є поза межами їх маленької лабораторії та конкурсу публікацій.

Якщо дослідження фінансувалось приватно, справді фінансувалось приватно, то найкраща удача.

— Джон
джерело

Я погоджуюсь з більшістю того, що в цьому є - вже є вимоги до розголошення даних - як правило, до інших кваліфікованих дослідників - у грантах, що фінансуються з боку NIH тощо. Але я думаю, що розширення цього завдання на спеціальну вимогу до публікації значно перевищує роль рецензента.

— Фоміт

1

(+1) Хоч і чітко сформульована відповідь. Варто пам’ятати, що цей сайт має досить міжнародну аудиторію. Я би сподівався, що більшість дослідників поглядатимуть на співпрацю щодо своїх досліджень та даних, навіть якщо НІХ чи інша організація не вивернула руку.

— кардинал

EpiGrad, якщо це не зрозуміло з відповіді, я відчув, що вимога щодо публікації є спеціальною не лише за межею рецензента, але й за редактором.

— Джон

Кардинал, дякую за комплімент. Дякуємо також за нагадування. Я намагаюся мати на увазі, що сайт міжнародний. Наскільки великий NIH, його немає в моїй країні. ;)

— Іван

@John. Так - я просто забув поставити +1, погоджуючись з вами :)

— Фоміт

6

Вирішення двох ситуацій окремо:

Як рецензент: Так, я думаю, у вас виникнуть підстави попросити переглянути дані чи код. Але якби я був ти, я би готувався побачити такі речі, як зведений код або підпідбір даних. Люди впроваджують майбутні дослідження, про які не повідомляється у цій статті у своєму коді, і ви не маєте права на вказаний код. Оскільки я в основному займаюся біомедичними дослідженнями, я також готовий мати справу з деякими досить обмежувальними угодами щодо використання даних.

У самому журналі: Ні. Якщо дослідник хоче відтворити мої результати, вони можуть самі підійти до мене і попросити код - тому ми маємо відповідних авторів. Для даних, абсолютно ні, ні за яких обставин. Мої дані регулюються IRB та угодами про конфіденційність - це не просто буде оприлюднено. Якщо я хочупублічний набір даних, я можу імітувати набір даних із подібними властивостями (тобто мережеві дані "Faux-Mesa", доступні в одному з мережевих пакетів для R), але як рецензент, ви не маєте заклику змушувати це . Якщо це вимога для журналу, то автори знали, що їх дані / код будуть відкритими для публікації, але якщо їх немає, то ні. Ваша роль полягає в тому, щоб оцінити якість самої роботи (отже, я добре з нею для цілей рецензії), а не використовувати вашу здатність сприяти прийняттю / відхиленню роботи, щоб підштовхнути те, що є по суті філософським / політичним моментом за межами журналу.

У кращому випадку я б закликав авторів зробити свій код і дані доступними, коли це можливо "у ваших коментарях, але я б не ставлю це на думку сильніше, і я не ставлю це офіційний список "Речей, які, на мою думку, потребують виправлення, перш ніж це побачить світло дня".

— Фоміт
джерело

Щойно помітив ваші зміни: У цьому випадку, що стосується статті, відповідь насправді є більш сильним «ні» - якщо припустити, що у статті є цитати. Якщо суть запиту - «відтворювані дослідження», а дані публічно обґрунтовані, то немає жодної причини, чому дослідник, який прагне підтвердити висновки, не міг би цього зробити самостійно. Крім того, якщо суть фактично оцінити науку, а не просто продемонструвати, що ви теж можете натиснути «Виконати» та отримати ті самі результати, проходження процесу пошуку та абстрагування в буквальному розумінні - це частина перевірки результату.

— Фоміт

щоб відтворити дослідження, версія коду та даних, що використовуються в аналізі, повинні бути доступними, а код, який не використовується в аналізі, не очікується (або обов'язково має значення).

— David LeBauer

@EpiGrad: На певному рівні я не зовсім згоден з цим сильним " ні" . Кіт Беггерлі останнім часом евангелізує цю тему і робить цікаві спостереження. Див., Наприклад, К.А. Баггерлі та К.Р. Кумбс, Виведення хіміочутливості з клітинних ліній: Криміналістична біоінформатика та відтворювані дослідження в біології з високою пропускною здатністю , Енн. Додаток Стат. , т. 3, вип. 4, ф. 1309-1334. Також є версія arxiv .

— кардинал

Я знаю дуже небагатьох дослідників, що фінансуються грантами, які мають ІРБ та конфіденційність, які справді обмежують публікацію належних анонімізованих даних. Якщо ви в цій ситуації, це досить рідкісний випадок.

— Джон

@EpiGrad Я також сумніваюся у сильному ні . Методи, що використовуються для отримання від вихідних даних до похідних метрик в метааналізі, часто вимагають великого набору припущень, пов’язаних із відмінностями в методології та інтерпретації, що виникають на рівні індивідуального дослідження. У цьому випадку представлено понад 200 досліджень, тому час, необхідний для реконструкції набору даних, був би непомірним - і в кінцевому рахунку стримував би кінцеву мету прогресу науки.

— David LeBauer

5

Як каже Джон, доступність даних для рецензентів має бути непродуманою; ретельний огляд повинен включати реплікацію аналізу і як такий вимагає доступу до даних.

Що стосується загальнодоступності даних після публікації, я б сказав, що боротьбу слід вести із журналом, а не щодо конкретного подання.

Більш загальна примітка, фінансуючі агенції та ІРБ все більше усвідомлюють, що обмін даними є науково та етично необхідним компонентом досліджень. Збільшуючи доступність для повторного аналізу, який може принести нові результати правильних помилкових звітів, обмін даними збільшує потенційну користь для досліджень, тим самим змінюючи компроміс витрат / вигод на користь учасників дослідження. Безумовно, необхідно повідомити учасників про можливість спільного використання їх даних, а також необхідно встановити гарантії для запобігання підвищеному ризику ідентифікації учасників, але цього можна досягти в більшості обставин. У своєму власному дослідженні я запевняю учасників (і мій IRB), що (1) дані будуть зберігатися у сильному зашифрованому форматі (оновлено у міру розвитку технології дешифрування),

— Майка Лоуренса
джерело

1

Я не маю жодного досвіду з цим, але мені здається, що ви, можливо, зможете наполягати на №1 як частину вашої власної ретельності при перегляді їх результатів. Я не бачу, як можна наполягати на №2.

— Уейн
джерело