Як дратувати статистичного арбітра?

Нещодавно я задав питання щодо загальних принципів щодо перегляду статистичних даних у документах . Зараз я хотів би запитати, що особливо дратує вас при перегляді документа, тобто який найкращий спосіб насправді дратувати статистичного арбітра!

Приклад на відповідь, будь ласка.

Що мене особливо дратує , це люди, які чітко використовували написані користувачем пакети для статистичного програмного забезпечення, але не цитують їх належним чином або взагалі, тим самим не надаючи жодної заслуги авторам. Це особливо важливо, коли автори знаходяться в академічних закладах, і їх робота залежить від публікації цитованих робіт . (Можливо, слід додати, що в моєму полі багато винуватців не є статистиками.)

Боже, так багато речей приходить на думку ...

• Поетапна регресія

• Розбиття безперервних даних на групи

• Давання p-значень, але не вимірює розмір ефекту

• Опис даних, використовуючи середнє та стандартне відхилення, не вказуючи, чи були дані більш-менш симетричними та одномодовими

• Цифри без чітких підписів (чи є ці смужки помилок стандартними помилками середнього значення, або стандартні відхилення в групах, чи що?

Ірен Страттон та його колега опублікували короткий документ про тісно пов'язане питання:

Страттон І.М., Ніл А. Як переконатися, що ваша стаття відхилила статистичний оглядач . Діабетична медицина 2005; 22 (4): 371-373.

Код, який використовується для створення імітованих результатів, не надається. Після запиту коду він вимагає додаткової роботи, щоб змусити його працювати на наборі даних, створених суддею.

Плагіат (теоретичний чи методологічний). Мій перший огляд справді був для документа, в якому було зроблено безліч невпорядкованих копій / вставок із добре створеної методичної праці, опублікованої 10 років тому.

Щойно знайшли пару цікавих робіт на цю тему: Авторство та плагіат в науці .

У цьому ж ключі я вважаю фальсифікацію (даних або результатів) найгіршою з усіх.

Коли ми запитуємо у авторів

1. незначний коментар щодо ідеї, яку ми маємо (у цьому сенсі це не розглядається як причина для відхилення статті, а просто для того, щоб автори могли обговорити іншу POV), або
2. неясні або суперечливі результати,

і що автори насправді не відповідають на випадок (1) або, що інкриміновані результати в (2) зникнуть з МС.

Плутанина р-значень та розміру ефекту (тобто, констатуючи, що мій ефект великий, тому що у мене дійсно крихітне p-значення).

Трохи відрізняється від Штефан відповіді виключення величини ефекту , але дає р-значення. Я згоден, ви повинні дати і те й інше (і, сподіваюся, зрозумієте різницю!)

Без врахування розмірів ефекту.

П інг протягом усього дослідження (я повинен за це призначити свого улюбленого професора середньої школи).

Надаючи неміцну кількість цифр (чоловіки набрали на 3.102019 фунтів більше, ніж жінки)

Не включаючи номери сторінок (що ускладнює перегляд)

Неправильне числення фігур та таблиць

(як уже згадувалося - поетапно і категоризуючи безперервні змінні)

Коли вони недостатньо пояснюють свій аналіз та / або включають прості помилки, які ускладнюють роботу над тим, що було зроблено насправді. Це часто включає викидання багато жаргону за допомогою пояснень, що є більш неоднозначним, ніж здається, що автор усвідомлює, а також може бути неправильно використаний.

Використання мови причинного зв'язку для опису асоціацій у даних спостережень, коли опущені змінні майже напевно є серйозною проблемою.

Коли автори використовують один відомий їм статистичний тест (у моїй галузі, як правило, t-тест або ANOVA), ad infinitum, незалежно від того, чи підходить він. Нещодавно я переглянув документ, в якому автори хотіли порівняти десяток різних груп лікування, тому вони зробили двопробний тест для кожної можливої ​​пари процедур ...

Складання нових слів для існуючих понять або, навпаки, використання існуючих термінів для позначення чогось іншого.

Деякі існуючі термінологічні відмінності вже давно оселилися в літературі: поздовжні дані в біостатистиці порівняно з панельними даними в економетриці; причинно-наслідкові показники в соціології проти формаційних та рефлексивних показників у психології; і т. д. Я все ще їх ненавиджу, але принаймні ви можете знайти кілька тисяч посилань на кожну з них у відповідних літературах. Найновішою є ця ціла низка роботи над спрямованими ациклічними графіками в причинній літературі: більшість, якщо не вся, теорія ідентифікації та оцінки в них була розроблена економістами в 1950-х роках під назвою одночасних рівнянь.

Термін, що має подвійне, якщо не потрійне значення, означає "надійний", а різні значення часто суперечать один одному. "Надійна" стандартна помилка не є надійною для далеких людей; крім того, вони не є надійними проти нічого, крім припущення про відхилення від моделі, і часто мають невеликі невеликі показники вибірки. Стандартні помилки Білого не є надійними щодо послідовних або кластерних кореляцій; "надійні" стандартні помилки в SEM не є надійними щодо хибних специфікацій структури моделі (опущені контури або змінні). Так само, як і при ідеї тестування значимості нульової гіпотези, неможливо навести пальцем на когось і сказати: "Ви несете відповідальність за те, що заплутаєте декілька поколінь дослідників у формуванні цієї концепції, яка насправді не означає її назви".

Нульовий розгляд відсутніх даних.

У багатьох практичних програмах використовуються дані, для яких є хоча б якісь відсутні значення. Це, звичайно, дуже вірно в епідеміології. Відсутні дані представляють проблеми для багатьох статистичних методів - включаючи лінійні моделі. Пропущені дані за лінійними моделями часто розглядаються шляхом видалення випадків із будь-якими відсутніми даними на будь-яких коваріатах. Це проблема, якщо дані відсутні у припущенні, що дані відсутні повністю випадково (MCAR).

Можливо, 10 років тому було обґрунтовано публікувати результати лінійних моделей без подальшого врахування браку. Я, безумовно, в цьому винен. Однак зараз дуже доступні дуже хороші поради щодо поводження з відсутніми даними при багаторазовій імпутації, як і статистичні пакети / моделі / бібліотеки / тощо. полегшити більш відповідні аналізи при більш розумних припущеннях, коли існує відсутність.

Повідомлення про ефекти, які "наближалися до значущості (наприклад, p <.10), а потім пишуть про них так, ніби вони набули значущості на більш жорсткому і прийнятному рівні. Запуск декількох моделей структурних рівнянь, які не були вкладені, а потім писати про них так, ніби вони Прийнявши чітко сформовану аналітичну стратегію і представляючи її так, ніби ніхто ніколи не думав її використовувати. Можливо, це кваліфікується як плагіат до п ятого ступеня.

Я рекомендую наступні дві статті:

Мартін Бленд:
Як засмутити статистичного арбітра
Це ґрунтується на серії переговорів, проведених Мартіном Бландам, а також даних інших статистичних арбітрів ("зручність вибірки з низьким рівнем відповіді"). Він закінчується 11-бальним списком "[h] ow, щоб уникнути засмучення статистичного судді".

Стіян Лідерсен:
Статистичний огляд: часто даються коментарі
Цей останній документ (опублікований 2014/2015) перераховує 14 найпоширеніших коментарів автора з огляду на основі прибл. 200 статистичних оглядів наукових праць (у конкретному журналі). Кожен коментар містить коротке пояснення проблеми та інструкції, як правильно робити аналіз / звітування. Список цитованих посилань - скарбниця цікавих паперів.

Мене найбільше (і найчастіше) дратує "валідація", спрямована на помилку узагальнення прогнозних моделей, коли дані тестування не є незалежними (наприклад, багаторазові вимірювання на пацієнта в даних, вимірюваннях, що не входять у завантаження, або перехресні валідації, не розбиваючи вимірювання не пацієнтів ).

Ще більше дратують документи, які дають такі хибні результати перехресної перевірки плюс незалежний тестовий набір, який демонструє надто оптимістичну упередженість перехресної перевірки, але жодного слова про те, що конструкція перехресної перевірки неправильна ...

(Я був би дуже радий, якщо будуть представлені ті самі дані, "ми знаємо, що перехресне підтвердження повинно розділяти пацієнтів, але ми застрягли з програмним забезпеченням, яке цього не дозволяє. Тому ми протестували справді незалежний набір тестових пацієнтів. ")

(Я також знаю, що завантажувальна передача = перекомпонування з заміною зазвичай працює краще, ніж перехресне підтвердження = переустановка без заміни. Однак ми знайшли для спектроскопічних даних (модельовані спектри та налаштування трохи штучної моделі, але реальні спектри), які повторювали / повторювали перехресну валідацію та вихід -of-bootstrap мав подібну загальну невизначеність; oob мав більше упередженості, але меншу дисперсію - для перемотування я дивлюся на це з дуже прагматичної точки зору: повторна перехресна перевірка проти поза завантаження не має значення, поки багато документів ні розбивати пацієнтів, ні повідомляти / обговорювати / згадувати випадкову невизначеність через обмежений розмір тестового зразка.)

Окрім помилки, це також має побічний ефект, що людям, які роблять належну перевірку, часто доводиться захищати, чому їх результати настільки гірші, ніж усі інші результати в літературі.

Використання "даних" в однині. Дані є, вони ніколи не є.

Для мене, безумовно, є присвоєння причини без належного причинного аналізу або коли є неправильне причинно-наслідкове висновок.

Я також ненавиджу, коли приділяється нульова увага тому, як обробляються відсутні дані. Я також бачу так багато робіт, де автори просто проводять повний аналіз випадків і не згадують, чи є результати узагальнюючими для сукупності з відсутніми значеннями, або як популяція з відсутніми значеннями може систематично відрізнятися від сукупності з повними даними.

Використання Microsoft Word, а не LaTeX.