Перегляд статистичних даних у документах

Для деяких із нас суддівські роботи є частиною роботи. Оцінюючи статті зі статистичних методологій, я вважаю, що поради з інших предметних областей є досить корисними, наприклад, інформатикою та математикою .

Це питання стосується перегляду більш застосованих статистичних документів. Під цим я маю на увазі, стаття подається до нестатистичного / математичного журналу, а статистика просто згадується в розділі "методи".

Деякі конкретні питання:

1. Скільки зусиль треба докласти, щоб зрозуміти область застосування?
2. Скільки часу потрібно витратити на звіт?
3. Як ви прискіпливі, дивлячись на фігури / таблиці.
4. Як ви справляєтесь із недоступними даними.
5. Чи ви спробуєте і повторно використати аналіз.
6. Яка максимальна кількість робіт, які ви переглядали б за рік?

Ви пропустили якісь запитання? Не соромтесь редагувати або додавати коментар.

Редагувати

Я підходжу до цього питання як статистик, що рецензує документ з біології, але мене цікавить статистичний огляд будь-якої нематематичної дисципліни.

Я не впевнений, чи повинен це бути CW. З одного боку це трохи відкрито, але з іншого я бачу, як я приймаю відповідь. Також відповіді, ймовірно, будуть досить довгими.

Я не впевнений, про яку область науки ви звертаєтесь (я впевнений, що відповідь була б зовсім іншою, якби, наприклад, займалися біологією та фізикою ...)

У будь-якому випадку, як біолог, я відповім з "біологічної" точки зору:

Скільки зусиль треба докласти, щоб зрозуміти область застосування?

Я схильний хоча б читати попередні статті від тих же авторів і шукати кілька оглядів на цю тему, якщо я не надто знайомий з цим. Особливо це стосується нових методик, яких я не знаю, тому що мені потрібно зрозуміти, чи всі вони виконали належний контроль тощо.

Скільки часу потрібно витратити на звіт?

Наскільки це потрібно (гаразд, тупа відповідь, я знаю!: P) Взагалі я б не хотів, щоб хтось, хто переглядає мою роботу, зробив орієнтовну роботу тільки тому, що у нього є інші справи, тому я намагаюся не робити цього самостійно .

Як ви прискіпливі, дивлячись на фігури / таблиці.

Досить вибагливий. Цифри - це перше, на що ви дивитесь, переглядаючи папір. Вони повинні бути послідовними (наприклад, правильні заголовки на осях, правильна легенда тощо). Іноді я запропонував використовувати інший тип сюжету для показу даних, коли я вважав, що використаний не найкращий. Це часто трапляється в біології, галузі, де переважає тип графіка "barplot +/- SEM". Я також дуже прискіпливий до розділу "матеріали та методи": досконалий статистичний аналіз за суттєво неправильною біологічною моделлю абсолютно марний.

Як ви справляєтесь із недоступними даними.

Ви, мабуть, просто довіряєте Авторам. У багатьох випадках в біології мало що можна зробити, особливо коли ти маєш справу з такими зображеннями, як поведінка зображень чи поведінки тварин тощо. Якщо ви не хочете, щоб люди публікували тонни зображень, відео тощо, (які ви, швидше за все, не проходили б у будь-якому випадку), але це може бути дуже непрактично. Якщо ви вважаєте, що дані дійсно необхідні, попросіть авторів надати їх як додаткові дані / цифри.

Чи ви спробуєте і повторно використати аналіз.

Тільки якщо у мене є серйозні сумніви щодо висновків, зроблених авторами. У біології часто існує різниця між тим, що є (чи ні) "статистично значущим" та "біологічно значущим". Я вважаю за краще тонший статистичний аналіз з хорошими біологічними міркуваннями, а навпаки. Але знову ж таки, в дуже неправдоподібному випадку, коли я повинен був переглянути документ з біологічної статистики (ага, це було б весело !!!), я, мабуть, приділяв би набагато більше уваги статистиці, ніж біології там.

Це стосується нового питання № 6: "Яка максимальна кількість робіт, які ви переглядали б за рік?" Я відповідаю членом кількох редакційних колегій. Багаторічна проблема - пошук достатньої кількості рецензентів. Залежно від журналу, кожен поданий документ потребує від одного до трьох рецензентів, як правило, трьох. Якщо журнал має % відсоток прийнятості , то середня кількість відгуків на прийнятий папір очевидно становить приблизно . Наприклад , якщо рівень прийняття становить 33%, редакторам потрібно отримати дев'ять рецензій на кожен опублікований документ. Якщо ви, як автор, ставитесь до цього серйозно, тоді вам слід спробувати надати дев'ять оглядів (або як би число не виявилося для ваших цільових журналів) для кожного видання, який ви публікуєте!$x$$3/(x/100)$

Мені було зручно писати це через сильну паралель з голосуванням на цьому сайті: для того, щоб ви здобули репутацію , іншим людям доводиться підтримувати певну комбінацію ваших відповідей та ваших питань. Таким чином, якщо ви тягнете свою вагу, перевірка вашого профілю повинна містити щонайменше посилань. Це стосується багатьох, але, безумовно, не всіх найактивніших учасників цього сайту. Щось подумати ... Не забудьте проголосувати!$r$$r/10$$r/5$ $r/10$

Мій POV буде переглядати статтю з психології або прогнозувати її статистичні достоїнства. Я здебільшого друкую дуже хороші зауваження Ніко.

Скільки зусиль треба докласти, щоб зрозуміти область застосування?

Насправді дуже багато. Я б не довіряв собі коментувати більше, ніж найосновніші статистичні проблеми, не розуміючи цієї області. На щастя, це часто не дуже важко в багатьох галузях психології.

Скільки часу потрібно витратити на звіт?

Я вийду на кінцівку і констатую конкретний час: на огляд я витрачу що-небудь від двох до восьми годин, іноді більше. Якщо я виявлю, що витрачаю більше паперу на день, це, ймовірно, означає, що я насправді не кваліфікований, щоб зрозуміти це, тому рекомендую журналу знайти когось іншого (і спробувати запропонувати когось).

Як ви прискіпливі, дивлячись на фігури / таблиці.

Дійсно дуже прискіпливо. Цифри стануть тим, що люди пам’ятають у документі, і те, що закінчується у лекційних презентаціях без особливого контексту, тому це дійсно потрібно зробити добре.

Як ви справляєтесь із недоступними даними.

У психології дані зазвичай не поділяються - вимірювати МРТ 50 людей дуже дорого, і автори захочуть використовувати ці дані для подальших робіт, тому я начебто розумію їх небажання просто видавати дані. Тож кожен, хто ділиться своїми даними, отримує великий бонус у моїй книзі, але обмін не зрозумілий.

Під час прогнозування багато наборів даних є загальнодоступними. У цьому випадку я зазвичай рекомендую авторам поділитися кодом (і зробити це сам).

Чи ви спробуєте і повторно використати аналіз.

Без даних існує лише стільки, чого можна навчитися з цього. Я пограю з імітованими даними, якщо щось дуже дивує результати роботи; інакше часто можна сказати про невідповідні методи без даних (як тільки хтось зрозуміє область, див. вище).

Яка максимальна кількість робіт, які ви переглядали б за рік?

Справді мало що можна додати до пункту Ваубера - якщо припустити, що кожен документ із середньою n співавторами, які я (спільно) надсилаю, отримує 3 огляди, слід дійсно прагнути переглянути щонайменше 3 / ( n + 1 ) робіт для кожного власного подання (підрахунок подань, а не власних паперів, які можуть бути відхилені та повторно подані). І звичайно, кількість заявок, а також кількість співавторів сильно різняться в залежності від дисципліни.