Загальні статистичні тести як лінійні моделі

(ОНОВЛЕННЯ: Я заглибився в це глибше і опублікував результати тут )

Список названих статистичних тестів величезний. Багато із загальних випробувань покладатися на умовиводи від простих лінійних моделей, наприклад, один-зразок Т-тест тільки у = β + ε , який перевіряється на нуль моделі у = μ + ε то , що β = μ , де μ деякий нуль значення - зазвичай μ = 0.

Я вважаю це набагато більш повчальним у навчальних цілях, ніж поглиблене вивчення названих моделей, коли їх використовувати, і їхні припущення, ніби вони не мають нічого спільного між собою. Такий підхід сприяє розумінню. Однак я не можу знайти хороший ресурс для збору цього. Мене більше цікавлять еквівалентності між основними моделями, а не метод висновку з них. Хоча, наскільки я бачу, випробування коефіцієнта ймовірності на всіх цих лінійних моделях дають ті самі результати, що і «класичне» висновок.

Ось еквіваленти, про які я до цього часу дізнався, ігноруючи термін помилки і припускаючи, що всі нульові гіпотези є відсутністю ефекту: $\varepsilon \sim \mathcal N(0, \sigma^2)$

Один зразок t-тесту: . $y = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

T-тест парного зразка: $y_2-y_1 = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Це ідентично однопробному t-тесту на парні відмінності.

t-тест: $y = \beta_1 * x_i + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

де x - показник (0 або 1).

Кореляція Пірсона: $y = \beta_1 * x + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Зауважте подібність двовимірного t-тесту, який є лише регресією на двійковій осі x.

Кореляція Спірмена: $rank(y) = \beta_1 * rank(x) + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Це ідентично співвідношенню Пірсона щодо перетворених рангом x і y.

Одностороння ANOVA: $y = \beta_1*x_1 + \beta_2*x_2 + \beta_3*x_3 +... \qquad \mathcal{H}_0: \beta_1, \beta_2, \beta_3, ... = \beta$

де - індикатори, що вибирають відповідну (один дорівнює 1, а інші - 0). Модель, ймовірно , можна записати в матричному вигляді , як . $x_i$ $\beta$ $x$ $Y = \beta * X$

Двостороння ANOVA: $y = \beta_1 * X_1 + \beta_2 * X_2 + \beta_3 * X_1 * X_2 \qquad \mathcal{H}_0: \beta_3 = 0$

для двох дворівневих факторів. Тут - вектори бета, де один обраний індикатором вектора . , показаний тут ефект взаємодії. $\beta_i$ $X_i$ $\mathcal{H}_0$

Чи можемо ми додати ще «іменовані тести» до цього списку лінійних моделей? Наприклад, багатоваріантна регресія, інші "непараметричні" тести, біноміальні тести чи RM-ANOVA?

ОНОВЛЕННЯ: запитання та відповіді про ANOVA та t-тести як лінійні моделі тут на SO. Дивіться це запитання та позначені відповідними питаннями .

— Йонас Ліндельов
джерело

Я думаю, що ці порівняння є доречними, але в якийсь момент є і тонкі відмінності. Наприклад, візьміть однобічну ANOVA: там, де лінійна регресія забезпечить вам коефіцієнти, а в більшості програмних пакетів значення на коефіцієнт за допомогою тестів Wald (що може бути невідповідним), ANOVA надасть єдине p-значення, яке вказує, чи є один із коефіцієнтів істотно відрізняється від нуля. Тест коефіцієнта ймовірності між нульовою моделлю та регресійною моделлю, що цікавить, може бути порівняннішим. Я не буду повністю вирівнювати ці тести / моделі.

— IWS

Влучне зауваження; Я оновив питання, сказавши, що "мене більше цікавлять еквівалентності між основними моделями, а не метод висновку з них". Тести коефіцієнта ймовірності на односторонніх ANOVA та умовах взаємодії дають однакові p-значення, як і "класичні" аналізи, наскільки йде моє тестування.

— Йонас Ліндельов

Досить справедливо, але висновок в бік, зауважте, що регресійні моделі також забезпечують додаткову гнучкість у роботі з нелінійністю (хоча трансформації також можуть бути протестовані за допомогою цих «іменованих тестів», сплайни - це інше питання) або обробці гетероседастичності, навіть не згадуючи про родину узагальнених моделей, які також обробляють неперервні залежні змінні. Тим не менш, я можу побачити пояснення названих тестів як обмежувальних варіацій регресійних моделей для навчальних цілей може бути гідним, тому +1

— IWS

Чи справді кореляція Спірмена є лінійною моделлю?

— Мартін Дітц

@MartinDietz: Так, після перетворення рангів x і y це лінійно. R код:x = rnorm(100); y = rnorm(100); summary(lm(rank(x) ~ rank(y))); cor.test(x, y, method='spearman')

— Jonas Lindeløv

Перелік не є вичерпним, але якщо включити узагальнені лінійні моделі, обсяг цієї проблеми стає значно більшим.

Наприклад:

Е [logit (p) | т] = β_{0} + β_{1} т Н_{0} : β_{1} = 0

$E[\mbox{logit} (p) | t] = \beta_0 + \beta_1 t \qquad \mathcal{H}_0: \beta_1 = 0$

$p \times k$

Е [журнал (мк)] = β_{0} + β_{i .} + β_{. j} + γ_{i j} i, j > 1 Н_{0} : γ_{i j} = 0, i, j > 1

$E[\log (\mu)] = \beta_0 + \beta_{i.} + \beta_{.j} + \gamma_{ij} \quad i,j > 1 \qquad\mathcal{H}_0: \gamma_{ij} = 0, \quad i,j > 1$

Також t-тест на неоднакові відхилення добре наближений, використовуючи надійну оцінку помилок Huber White.

— АдамО
джерело