Чи неправильно називати результати "майже" чи "дещо" значущими?

Загальний консенсус щодо аналогічного питання: Чи неправильно називати результати "високо значимими"? полягає в тому, що "високозначущий" є дійсним, хоча і неспецифічним способом опису міцності асоціації, яка має р-значення набагато нижче встановленого вами порогу значущості. Однак як щодо опису р-значень, які трохи перевищують ваш поріг? Я бачив, як деякі статті використовують такі терміни, як "дещо значне", "майже значне", "наближається до значущості" тощо. Я вважаю, що ці терміни є дещо жадібними, у деяких випадках - прикордонним неохайним способом витягти змістовний результат із дослідження з негативними результатами. Чи прийнятні ці терміни для опису результатів, які "просто пропускають" ваше обмеження p-значення?

Якщо ви хочете дозволити "значущості" визнавати ступінь, тоді досить справедливо ("дещо суттєво", "досить вагомо"), але уникайте фраз, які підказують, що ви все ще знаходяться з ідеєю порогу, наприклад "майже значного" , "наближається до значущості" або "на суті значущості" (мій фаворит із "Все ще не суттєвий" в блозі " Ймовірна помилка" ), якщо ви не хочете здаватися відчайдушними.

З моєї точки зору, питання зводиться до того, що насправді означає провести перевірку значимості. Перевірка значущості була розроблена як засіб прийняття рішення про відхилення нульової гіпотези або про неприйняття її. Сам Фішер ввів сумнозвісне правило 0,05 для прийняття цього (довільного) рішення.

В основному, логіка тестування значущості полягає в тому, що користувач повинен вказати альфа-рівень для відхилення нульової гіпотези (умовно 0,05) перед збором даних . Після завершення тесту на значущість користувач відхиляє нуль, якщо значення p менше, ніж рівень альфа (або не відхиляє його в іншому випадку).

Причина, чому ви не можете визначити ефект надзвичайно значущим (скажімо, на рівні 0,001), полягає в тому, що ви не можете знайти більш вагомих доказів, ніж ви вирішили знайти. Отже, якщо перед тестом встановити рівень альфа на 0,05, ви можете знайти свідчення лише на рівні 0,05, незалежно від того, наскільки малі ваші значення p. Таким же чином, говорити про ефекти, які є "дещо значущими" або "наближаються до значущості" також не має особливого сенсу, оскільки ви вибрали цей довільний критерій 0,05. Якщо ви інтерпретуєте логіку перевірки значимості дуже буквально, нічого більшого за 0,05 не має значення.

Я погоджуюся, що такі терміни, як "наближається до значущості", часто використовуються для підвищення перспектив публікації. Однак я не думаю, що в цьому можна звинувачувати авторів, оскільки нинішня культура публікації в деяких науках все ще сильно покладається на "святий грааль" 0,05.

Деякі з цих питань обговорюються в:

Гігеренцер, Г. (2004). Бездумна статистика. Журнал Socio-Economics, 33 (5), 587-606.

Royall, R. (1997). Статистичні дані: парадигма вірогідності (т. 71). Преса CRC.

Цей слизький схил повертається до рамки Фішера проти Неймана / Пірсона для перевірки значущості гіпотез (NHST). З одного боку, хочеться зробити кількісну оцінку того, наскільки малоймовірний результат під нульовою гіпотезою (наприклад, розміри ефекту). З іншого боку, наприкінці дня ви хочете дискретно вирішити питання про те, чи є ваші результати, чи ні, були наслідком лише випадкових випадків. Що ми закінчили - це такий собі гібридний підхід, який не дуже задовольняє.

У більшості дисциплін умовний p за значущістю встановлюється на 0,05, але насправді немає підстав для того, чому це повинно бути так. Переглядаючи статтю, у мене абсолютно немає проблем з автором, який називає 0,06 значущими, а то й 0,07, за умови, що методологія є надійною, і вся картина, включаючи всі аналізи, цифри тощо, розповідає послідовну та правдоподібну історію. Там, де у вас виникають проблеми, це коли автори намагаються зробити історію з тривіальних даних з невеликими розмірами ефекту. І навпаки, я не можу повністю «повірити» тест практично має сенс, навіть коли він досягає звичайного значення p <0,05. Колись мій колега сказав: "Ваша статистика повинна просто створити резервну копію того, що вже видно у ваших цифрах".

Що все сказане, я вважаю, що Василев правильно. Враховуючи порушену систему публікації, вам потрібно ввімкнути значення p, а отже, вам доводиться вживати слово "вагомий", щоб сприймати його серйозно, навіть якщо для нього потрібні прикметники типу "незначно" (що я вважаю за краще). Ви завжди можете боротися з цим під час експертної оцінки, але ви повинні дістатися першими.

Сама різниця між двома p-значеннями не є істотною. Отже, не має значення, чи ваше р-значення 0,05, 0,049, 0,051 ...

Що стосується р-значень як міри сили асоціації: Р-значення не є безпосередньо показником сили асоціації. Значення р - це ймовірність виявити такі екстремальні чи більш екстремальні дані, як і дані, які ви спостерігали, якщо параметр вважається рівним 0 (якщо хтось зацікавлений у нульовій гіпотезі - див. Коментар Ніка Кокса). Однак, це часто не є тією кількістю, яку цікавить дослідник. Багатьом дослідникам цікаво відповідати на запитання типу "яка ймовірність того, що параметр буде більшим, ніж якесь вибране значення відсікання?" Якщо це те, що вас цікавить, вам потрібно включити додаткову попередню інформацію у свою модель.

$p<\alpha$$p>\alpha$(звичайно, не сила ефекту). Для такого «континуаліста» розумний спосіб описати результат із помірним р-значенням є «майже значущим». Проблема виникає, коли люди змішують ці дві філософії - або ще гірше, не усвідомлюють, що обидві існують. (До речі - люди часто припускають ці карти чисто до Неймана / Пірсона та Фішера, але вони не роблять цього, звідси мої, мабуть, незграбні умови для них). Детальніше про це у публікації в блозі з цього приводу тут: https://scientistseessquirrel.wordpress.com/2015/11/16/is-nearly-significant-ridiculous/

Я схильний вважати, що говорити, що з технічної точки зору щось майже є статистично значущим, це невірно. Після встановлення рівня толерантності встановлюється статистичний тест значущості. Ви повинні повернутися до ідеї вибіркового розподілу. Якщо ваш рівень допуску дорівнює 0,05, і ви отримаєте р-значення 0,053, то випадково використаний зразок дав цю статистику. Ви можете дуже добре отримати інший зразок, який може не дати однакових результатів. Я вважаю, що ймовірність того, що це відбувається, базується на встановленому рівні допуску, а не на статистичній вибірці. Пам’ятайте, що ви тестуєте зразки на параметр популяції, а вибірки мають власне розподіл вибірки. Тож, на мою думку, або щось є статистично значущим, або це не так.

$[0,1]$$\mathcal{H}_0$$p > \alpha$

$\mathcal{H}_1$

Дивіться, наприклад, Вікіпедію .