Наскільки меншими можуть бути значення

Вступ: Зауваживши сьогодні увагу, приділене цим питанням: " Чи може ANOVA бути значущим, коли жоден з парних t-тестів не є? ", Я подумав, що мені вдасться переробити його цікавим способом, який заслуговує на власний набір відповідей .

Різноманітність невідповідних результатів (за номіналом) може виникнути, коли статистичну значимість розуміють як просту дихотомію та оцінюють за простою основою, яка вища, або . @ Відповідь Glen_b на вищезазначене питання є корисним прикладом випадку, коли: $p$ $\alpha$

ANOVA -test виробляє для однієї незалежної змінної (IV) з чотирма рівнями, але $F$ $p_F<.05$
$p_t>.08$ для всіх -тестів, що порівнюють відмінності в одній і тій же залежній змінній (DV) серед спостережень, що відповідають кожній парі чотирьох рівнів IV. $t$

Подібний випадок виник, незважаючи на виправлення Бонферроні для порівнюваних парних порівнянь через це питання: повторні заходи Anova важливі, але всі численні порівняння з корекцією Bonferroni не є? Раніше згадані випадки з дещо іншим тестом на множинну регресію також існують:

Чому можна отримати значну F статистику (p <.001), але несуттєві регресорні t-тести? : $p_F<.001,p_{\beta t}>.09$
Наскільки регресія може бути суттєвою, але всі прогнози можуть бути незначними?
- В @ whuber - х відповіді , $p_F=.0003,p_{\beta t}>.09$

Б'юсь об заклад, що у подібних випадках деякі (але не всі) попарні зіставлення '(або коефіцієнти регресії коефіцієнтів значущості) значення повинні бути досить близькими до якщо відповідний тест омнібусів може досягти $p$ $\alpha$ $p <\alpha$ . Я бачу, що це стосується першого прикладу @ Glen_b, де , , а найбільша різниця дає найменший . Чи повинно це бути взагалі? Більшконкретно: $F_{(3,20)}=3.19$ $p_F=.046$ $p_t=.054$

Питання: Якщо ANOVA -test виробляє для ефекту одного політоміческіх IV на безперервному DV, як високо може найнижчий значення буде серед усіх двох вибірок - тестів , які порівнюють кожну пару рівнів в IV в? Чи може мінімальна парна значущість бути такою ж високою, як ? $F$ $p_F=.05$ $p$ $t$ $p_t=.50$

_{Я вітаю відповіді, які стосуються лише цього конкретного питання . Однак для подальшої мотивації цього питання я докладно деталізую і викладу деякі потенційно риторичні питання. Ви можете також вирішити ці проблеми і навіть проігнорувати конкретне питання, якщо вам це подобається, особливо якщо конкретне питання отримає остаточну відповідь.}

Значення: Поміркуйте, наскільки менш важливою була б різниця між та , якщо статистичну значущість судитимуть у безперервному вираженні міцності доказів проти нульової гіпотези (я думаю, підхід Рона Фішера? ), а не в дихотомічному вираженні вище чи нижче порогу для прийнятної ймовірності помилки у виборі того, чи потрібно відхиляти нульовий оптовий продаж. " хакерство " - відома проблема, яка частково зобов'язана своїм відомим непотрібною вразливістю, введеною інтерпретацією $p_F=.04$ $p_t=.06$ $\alpha=.05$ $p$ $p$ значення відповідно до загальної практики дихотомізації значущості в еквівалентах "досить хороший" і "недостатньо хороший". Якби було розпоряджатися цією практикою та зосереджуватись замість того, щоб інтерпретувати значення як міцність доказів проти нуля на безперервному інтервалі, може бути тестування універсалу дещо менш важливим, коли насправді дбає про кілька парних порівнянь? Це не обов'язково, оскільки, звичайно, бажано будь-яке досить ефективне поліпшення статистичної точності, але ... якщо, наприклад, найменше значення порівнянні в парному порівнянні обов'язково знаходиться в межах від ANOVA (або іншого тесту омнібуса) $p$ $p$ $.10$ $p$ Значення, чи не робить це тест всебічної допомоги дещо тривіальнішим, менш примусовим та ще більш оманливим (у поєднанні з попередніми непорозуміннями), особливо якщо не особливо хочеться контролювати у кількох тестах? $\alpha$

І навпаки, якщо дані можуть існувати такими, що омнібус , але все попарно , чи не може це додатково мотивувати омнібус та контрастне тестування у всій практиці та педагогіці? Мені здається, що це питання також повинно інформувати про відносні достоїнства судження статистичної значущості відповідно до дихотомії та континууму, оскільки дихотомічна інтерпретаційна система повинна бути більш чутливою до невеликих коригувань, коли відмінності "незначно значущі", тоді як жодна система є безпечним від неспроможності виконати тест омнібусу або налаштувати для кількох порівнянь, якщо ця різниця / коригування може бути дуже великою (наприклад, $p=.05$ $p>.50$ теоретично. $p_t-p_F>.40)$

_{Інші необов'язкові складності, які слід враховувати або ігнорувати - все, що робить відповіді простішими та кориснішими :}

^{Наскільки високим може бути s для s, якщо для , натомість , (наприклад, ) $p$ $t$ $F$ $p<.05$ $p=.01, .001,\dots$}
^{Чутливість до кількості рівнів в політомі IV}
^{Чутливість до нерівномірності значущості парних різниць (при цьому всі ) $p_t>p_F$}
- ^{Відповідь Уубера вказує, що в тому числі невеликі відмінності можуть замаскувати великі відмінності.}
^{Відмінності між виправленнями різноманітних тестів всеобігу для кількох порівнянь}
- ^{Див. Також: Виправлення для декількох порівнянь у межах предметів / повторні заходи ANOVA; надмірно консервативний?}
- ^{Якщо є кілька IV, мультиколінеарність може загострити це питання .}
^{Обмежені випадки, коли дані оптимально відповідають усім припущенням класичних параметричних тестів}
- ^{Це обмеження може бути важливим для запобігання дебатуванню цього питання.}

— Нік Стаунер
джерело

Ви можете уточнити, чи повинні парні t-тести використовувати ту саму оцінку відхилення помилок, що і F-тест всеохоплювача (у прикладі Глена вони не мають).

— Scortchi

Я мав у виду звичайну Т-тест для різниці середніх значень з використанням

t = ({\bar{y}}_{1} - {\bar{y}}_{2}) / (\hat{σ} \sqrt{\frac{1}{n_{1}} + \frac{1}{n_{2}}})

$t=(\bar{y}_1-\bar{y}_2)/\left({\hat\sigma\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}\right)$

\hat{σ}

$\hat\sigma$

\sqrt{MSE}

$\sqrt{\text{MSE}}$

p_{t} > .05

$p_t>.05$

p_{F} < 0.002

$p_F<0.002$

Я промальовував відповідь на першу частину цього питання кілька хвилин тому в коментарі на сайті stats.stackexchange.com/questions/83030/… .

— whuber

$n$ $t$ $p$ $t$ $2\Phi(-\sqrt{2}) \approx .1573$ $\Phi$ $N(0,1)$ $p_t$ $0.5$ $.1573$ $p_F=.05$ $F$

$\max_{i,j}|\bar y_i - \bar y_j| = 2a$ $F$ $\bar y_i$ $F$ $2a$

$\bar y_.=0$ $\bar y_i=\pm a$ $MS_E=1$ $k$ $k$ $F=\frac{\sum n\bar y^2/(k-1)}{MS_E}= \frac{kna^2}{k-1}$ $p_F=\alpha$ $F=F_\alpha=F_{\alpha,k-1,k(n-1)}$ $a =\sqrt{\frac{(k-1)F_\alpha}{kn}}$ $\bar y_i$ $\pm a$ $MS_E=1$ $t$ $t=\frac{2a}{1\sqrt{2/n}} = \sqrt{\frac{2(k-1)F_\alpha}{k}}$ $t$ $F=F_\alpha$

$k$ $n$ $t$ $p_t$ $k$ $F_\alpha$ $n$ $n\rightarrow\infty$ $(k-1)F_{\alpha,k-1,k(n-1)} \rightarrow \chi^2_{\alpha,k-1}$ $t \ge t_{min} =\sqrt{2\chi^2_{\alpha,k-1}/k}$ $\chi^2/k=\frac{k-1}k \chi^2/(k-1)$ $\frac{k-1}k$ $\frac{k-1}k\cdot\sqrt{\frac2{k-1}}$ $\lim_{k\rightarrow\infty}t_{min} = \sqrt{2}$ $\alpha$

R $k$ $\alpha=.05$

k       t_min    max p_t   [ Really I mean min(max|t|) and max(min p_t)) ]
2       1.960     .0500
4       1.977     .0481   <--  note < .05 !
10      1.840     .0658
100     1.570     .1164
1000    1.465     .1428
10000   1.431     .1526

Кілька вільних кінців ...

$F$ $\bar y_i$ $\pm a$ $\pm a/k$ $k$ $F$ $k-\frac 1k$ $t$ $p_t$
$n$ $F$ $\bar y_i = \pm a$ $F$ $N = \sum n_i$ $t$ $n_i$ $p_t$
$t$ $p_t$ $t$ $n=2,3,4,\ldots$ $\alpha=.05, k\ge 3$ $p_t$ $n$ $df=k(n-1)$ $k,2k,3k,\ldots$ $k$ $\alpha=.25$ $.1573$ $k=3,n=2$

— Расс Лент
джерело