Злом P-значення

Злом P-значення - це "мистецтво" дивитися на різні результати та технічні характеристики, поки ви не отримаєте "помилковий позитив", тобто значення ap під, скажімо, 0,05, яке створює лише шум і не відповідає дійсності в процесі генерації даних.

Скажімо, я маю оброблювану групу розміром та контрольну групу з розмірами , змінними результатів, і я орієнтуюся на p-значення : Як я можу обчислити попередню ймовірність отримання хоча б одного помилкового позитивного значущого результату під ?M K p $N$$M$$K$$p$$p$

Можна припустити , що характеристики незалежно один від одного і нормально розподілені, і якщо це спрощує багато, що .M = $K$$M=N$

Згідно з припущенням про нормальні характеристики iid, описану ситуацію опікують окремими тестами Welch, які враховують можливі різні розміри вибірки та різні відхилення. Позначимо статистику цих тестів . Значення р, пов'язане з кожним, є$t_j, j=1,...,K$

$$p_j = \Pr\big(|t_j|\geq t(\alpha)\mid H_0\big)$$

де - гіпотеза про те, що засоби популяції між лікуваною та контрольованою групою є рівними, а залежить від рівня значущості . $H_0$$t$$1-\alpha$

Ми можемо записати ймовірність через відповідну функцію кумулятивного розподілу,

$$\Pr\big(|t_j|\geq t(\alpha)\mid H_0\big) = 1 - F(|t_j|)$$

Тому

$$p_j = 1 - F(|t_j|) \implies 1-p_j = F(|t_j|)$$

Якщо ми розглянемо ситуацію апріорі, перш ніж навіть дивитися на дані, то значення p лежать у майбутньому і можуть моделюватися як випадкові величини. Розглянута як випадкова величина, інтегральне перетворення ймовірності говорить про те, що слідує за рівномірним розподілом , а за властивостями цього розподілу так само .$1-p_j$$U(0,1)$$p_j$

Зібравши всі , маємо вибірку розміру незалежної уніформи. Ймовірність того, що хоча б одна з них менша, ніж певне значення, скажімо, , дорівнює ймовірності того, що мінімум з них нижчий за цей поріг. Це можна зрозуміти так:$p_j$$K$$U(0,1)$$p^*$

$$\Pr\Big (\text {At least one $p_j \leq p^*$} \Big) = \Pr\Big (\text {Not all $p_j > p^*$} \Big)$$

$$= 1-\Pr\Big (\text {All $p_j > p^*$} \Big) = 1- \prod_{j=1}^K \Pr\Big ( p_j > p^* \Big)$$

через незалежність і так, оскільки вони однаково розподілені,

$$\Pr\Big (\text {At least one $p_j \leq p^*$} \Big) = 1- \left [1-\Pr\Big ( p \leq p^* \Big)\right]^K = 1 - \left [1-F_U \big(p^* \big)\right]^K$$

Але це сукупна функція розподілу мінімуму iid випадкових величин.$K$

Позначимо цей мінімум .$p_{(1)}$

CDF мінімуму незалежних змінних дорівнює$K$$U(0,1)$

$$F_{p_{(1)}}(p_{(1)}) = 1 - \big [1-p_{(1)}\big]^K$$

Ми хочемо ймовірності

$$\Pr(p_{(1)} \leq p^*) = 1- \big [1-p^*\big]^K$$

Орієнтовні значення:

Я погоджуюсь з @AlecosPapadopoulos, ми хочемо чогось типу: Але я не бачу, як і не міг увійти до належної статистики тесту. Наприклад, якщо базові дані зазвичай розподіляються в iid даних, то і мають значення.

$$\Pr(p_{(1)} \leq p^*) = 1- \big [1-p^*\big]^K$$ $n$$M$$N$$M$

Розглянемо, що середній рівень шуму та дисперсія , який, за припущенням, однаковий для контрольної та "обробленої" групи. Середнє значення оброблюваної групи з розміром N буде розподілено та для контролю. Тож різниця в засобах буде розподілена$\mu$$\sigma$$N(\mu, \sigma^2 / n)$$N(\mu, \sigma^2 / M)$

$$N(0, \sigma^2 / n + \sigma^2 / m)$$

Але ви не знатимете або , тому нам доведеться оцінити його за допомогою , і і використовувати t-тест. Ця настройка дає такий t-tatistic, як цей: де SRC: t-тест студента у Вікіпедії$\sigma$$\mu$$X_1$$X_2$$s_{X_1X_2}$

$$t = \frac{\bar {X}_1 - \bar{X}_2}{s_{X_1 X_2} \cdot \sqrt{\frac{1}{n}+\frac{1}{m}}}$$ $$s_{X_1X_2} = \sqrt{\frac{(n-1)s_{X_1}^2+(m-1)s_{X_2}^2}{n+m}}.$$

Неспарений зразок t-тесту на цю різницю в засобах має ступінь свободи . Тому область відхилення повинна залежати як від n, так і від m, як від того, яке критичне значення тесту використовувати через ступінь свободи цього тесту, так і самого статистичного розрахунку тесту.$N-M-2$

Інші відповіді хороші, але я подумав, що ще одна відповідь з незначним фокусом може бути гарним доповненням.

Чи впливає розмір вибірки зазвичай на помилково позитивний показник?

Судячи з коментарів, я вважаю, що питання запропоновано цією статтею , яка включає пару помилок (або принаймні неправильних слів).

По-перше (і що найбільше турбує загалом), воно невірно визначає значення p, але, більш доречно, воно включає речення "Якщо ви вимірюєте велику кількість речей щодо невеликої кількості людей, ви майже гарантовано отримаєте" статистично значимий "результат . "

Значення р - це ймовірність, якщо припустити, що нульова гіпотеза є істинною, спостерігати результат як мінімум такий же крайній, як і той, що насправді спостерігався. Як зазначено в інших відповідях, це означає, що він повинен бути рівномірно розподілений між 0 і 1 незалежно від розміру вибірки, базових розподілів тощо.

Таким чином, речення повинне було зазначати: "Якщо виміряти велику кількість речей щодо невеликої кількості людей , ви майже гарантовано отримаєте" статистично значимий "результат".

Як правильно підраховано у статті, навіть якщо шоколад точно нічого не робить, було 60% шансу (припускаючи незалежність тощо) отримати значний результат.

Насправді вони отримали три значні результати, що досить дивно (p = 0,06 при - ймовірно нереалістичному - припущенні незалежності).

Чи впливає розмір вибірки ніколи на помилково-позитивний показник?

Насправді іноді це відбувається, хоча це дійсно має значення лише в тому випадку, якщо розмір вибірки дійсно невеликий.

Я сказав, що (припускаючи, що нульова гіпотеза правдива) р-значення повинно бути розподілено рівномірно. Але рівномірний розподіл є безперервним, тоді як велика кількість даних є дискретними лише з кінцевим числом можливих результатів.

Якщо я кидаю монету кілька разів, щоб перевірити, чи вона упереджена, є лише кілька можливих результатів, а отже, і кілька можливих p-значень, тому розподіл потенційних p-значень є дуже поганим наближенням до рівномірного розподілу. Якщо я переверну його досить кілька разів, то, можливо, неможливо отримати суттєвий результат.

Ось приклад випадку, коли це насправді сталося.

Тож у вас вийде щось на кшталт "Якщо ви вимірюєте певні типи речей щодо достатньо малої кількості людей, ви ніколи не отримаєте" статистично значимого "результату, незалежно від того, скільки речей ви намагаєтеся".

Це означає, що ви не повинні турбуватися про розмір вибірки, якщо результат позитивний?

Ні. Деякі позитивні результати є помилковими, а деякі - справжніми. Як обговорювалося вище, зазвичай можна з упевненістю припустити, що показник помилково-позитивного значення є фіксованим (як правило, 5%). Але менший розмір вибірки завжди робить справжні позитивні результати менш імовірними (те, що менший розмір вибірки означає, що тест має меншу потужність ). І якщо у вас однакова кількість помилкових позитивів, але менше справжніх позитивних результатів, випадково обраний позитивний результат швидше буде помилковим.

Є ще одне, що, можливо, варто додати до відмінних відповідей вище, а це, по суті, також відбувається гра з мета-числами. Скажімо, що 20 науковців роблять один і той же набір експериментів, шукаючи щось, можливо, слабко співвіднесене, наприклад, "чи викликає шоколад серцевий напад", і приймуть значення р <0,05, яке, відверто кажучи, не повинно. Сукупна ймовірність полягає в тому, що один вчений отримає значну знахідку, це один експеримент, який буде опублікований, оскільки негативні результати рідко приймаються. Тоді є 100% шанс, що цю знахідку підберуть Bild Zeitungs цього світу і неправильно повідомляють.

На жаль, оскільки ми не повідомляємо про відсутність результатів, ми, по суті, займаємось загальнонаціональними вправами повідомляти про всі експерименти, яким пощастило - в неправильному розумінні цього слова.

Для предметів, що мають сильну теоретичну основу, хороший експериментальний дизайн забезпечує певний захист від цього - для суб'єктів, яким домінуюче доводиться працювати з даними спостережень, і намагаються опрацювати теорію - як економіку - це головне питання.

Додано: Про широку дискусію з усієї проблеми - і дуже добре написану - дивіться у статті, що розпочала нещодавні дискусії:

Дослідження показника помилкового виявлення та неправильного тлумачення p-значень Девіда Колкхуна