Як визначити регіон відхилення, коли немає UMP?

Розглянемо модель лінійної регресії

$\mathbf{y}=\mathbf{X\beta}+\mathbf{u}$ ,

$\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I})$ ,

$E(\mathbf{u}\mid\mathbf{X})=\mathbf{0}$ .

Нехай $H_0: \sigma_0^2=\sigma^2$ проти $H_1: \sigma_0^2\neq\sigma^2$ .

Ми можемо зробити висновок, що $\frac{\mathbf{y}^T\mathbf{M_X}\mathbf{y}}{\sigma^2}\sim \chi^2(n-k)$ , де $dim(\mathbf{X})=n\times k$ . І $\mathbf{M_X}$ є типовим позначенням матриці знищення $\mathbf{M_X}\mathbf{y}=\hat{\mathbf{y}}$ , де $\hat{\mathbf{y}}$ є залежною змінною $\mathbf{y}$ регресував на $\mathbf{X}$ .

Книга, яку я читаю, констатує наступне:

Я раніше запитав, які критерії слід використовувати для визначення регіону відхилення (RR), дивіться відповіді на це питання , і головним був вибір RR, який зробив тест максимально потужним.

У цьому випадку, якщо альтернатива є двосторонньою складовою гіпотезою, зазвичай немає тесту на UMP. Крім того, у відповіді, наведеній у книзі, автори не показують, чи вивчали вони силу своєї RR. Тим не менш, вони обрали RR з двома хвостами. Чому це так, оскільки гіпотеза не «односторонньо» визначає RR?

Редагувати: Це зображення знаходиться в посібнику з рішення цієї книги як рішення для вправи 4.14.

— Старий у морі.
джерело

Будь ласка, додайте посилання на книгу. Пов'язане: P-значення в тесті з двома хвостами з асиметричним нульовим розподілом .

— Scortchi

@Scortchi дякую за посилання. Чи можу я задати вам щось з цього питання? Вам це цікаво? Я намагаюся оцінити, чи задаю цікаві запитання, чи варто скеровувати свої інтереси до інших районів ...

— Старий чоловік у морі.

Не всі вважають теорію цікавою, звичайно, але деякі люди роблять (включаючи мене), і у нас майже 2 кmathematical-statistics . С. Отже, штраф q. ІМО. Це трохи широко, але я думаю, що хороша відповідь дозволить вивчити різні підходи та міркування, а мотиваційний приклад дуже допомагає. (Я б обрав якомога простіший приклад - тести на дисперсію нормального розподілу з відомим середнім або середнім показником експоненціального розподілу.) [BTW Я часто забуваю голосувати за питання, коли коментую їх .]

— Scortchi

@Scortchi дякую за відгук. Іноді я не впевнений, чи добре структурую це питання, оскільки сам це вивчаю.

— Старий чоловік у морі.

Ви повинні визначити

M_{X}

$M_X$

— Тейлор

Відповіді:

Простіше спочатку опрацювати випадок, коли відомі коефіцієнти регресії, а нульова гіпотеза проста. Тоді достатньою статистикою є , де - залишковий; його розподіл під нулем також є чи-квадратом, масштабованим на & зі ступенями свободи, рівними розміру вибірки . $T=\sum z^2$ $z$ $\sigma^2_0$ $n$

Запишіть співвідношення ймовірностей під & та підтвердьте, що це функція збільшується, для будь-якого : $\sigma=\sigma_1$ $\sigma=\sigma_2$ $T$ $\sigma_2 > \sigma_1$

Функцією відношення ймовірності журналу є , і прямо пропорційна з позитивним градієнтом, коли .
$ℓ (σ_{2}; T, n) - ℓ (σ_{1}; T, n) = \frac{n}{2} \cdot [\log (\frac{σ_{1}^{2}}{σ_{2}^{2}}) + \frac{T}{n} \cdot (\frac{1}{σ_{1}^{2}} - \frac{1}{σ_{2}^{2}})]$ $\ell(\sigma_2;T,n)-\ell(\sigma_1;T,n)=\frac{n}{2} \cdot \left[\log \left(\frac{\sigma_1^2}{\sigma_2^2}\right) + \frac{T}{n} \cdot \left(\frac{1}{\sigma_1^2} - \frac{1}{\sigma_2^2}\right) \right]$ $T$ $\sigma_2>\sigma_1$

Отже, за теоремою Карліна – Рубіна кожен з односхилих тестів проти & проти є рівномірно найпотужнішим. Очевидно, що немає тестування UMP проти . Як обговорювалося тут , проведення односхилих тестів та застосування виправлення багаторазових порівнянь призводить до загальновживаного тесту з областями відхилення однакового розміру в обох хвостах, і цілком розумно, коли ви збираєтесь стверджувати, що або що коли ви відхиляєте нуль. $H_0:\sigma=\sigma_0$ $H_\mathrm{A}:\sigma < \sigma_0$ $H_0:\sigma = \sigma_0$ $H_\mathrm{A}:\sigma < \sigma_0$ $H_0:\sigma = \sigma_0$ $H_\mathrm{A}:\sigma \neq \sigma_0$ $\sigma>\sigma_0$ $\sigma<\sigma_0$

Далі знайдіть відношення ймовірностей під , оцінку максимальної ймовірності , & : $\sigma=\hat\sigma$ $\sigma$ $\sigma=\sigma_0$

Оскільки , статистика тесту на відношення ймовірності журналу дорівнює $\hat\sigma^2=\frac{T}{n}$
$ℓ (\hat{σ}; T, n) - ℓ (σ_{0}; T, n) = \frac{n}{2} \cdot [\log (\frac{n σ_{0}^{2}}{T}) + \frac{T}{n σ_{0}^{2}} - 1]$ $\ell(\hat\sigma;T,n)-\ell(\sigma_0;T,n)=\frac{n}{2} \cdot \left[\log \left(\frac{n\sigma_0^2}{T}\right) + \frac{T}{n\sigma_0^2} - 1 \right]$

Це прекрасна статистика для кількісного визначення того, наскільки дані підтримують за . І довірчі інтервали, сформовані в результаті інвертування тесту на коефіцієнт ймовірності, мають привабливу властивість, що всі значення параметрів всередині інтервалу мають більш високу ймовірність, ніж значення зовні. Асимптотичний розподіл у два рази більше коефіцієнта вірогідності логарифів добре відомий, але для точного тестування не потрібно намагатися розробити його розподіл - просто використовуйте хвостові ймовірності відповідних значень у кожному хвості. $H_\mathrm{A}:\sigma \neq \sigma_0$ $H_0:\sigma = \sigma_0$ $T$

Якщо ви не можете провести рівномірно найпотужніший тест, можливо, вам потрібен найпотужніший проти альтернатив, найближчих до нуля. Знайдіть похідну функції вірогідності журналу відносно - функції оцінки: $\sigma$

$\frac{d ℓ (σ; T, n)}{d σ} = \frac{T}{σ^{3}} - \frac{n}{σ}$ $\frac{\mathrm{d}\,\ell(\sigma;T,n)}{\mathrm{d}\,\sigma}=\frac{T}{\sigma^3} - \frac{n}{\sigma}$

Оцінюючи його величину в дає місцевий найпотужніший тест проти . Оскільки статистика тесту обмежена внизу, при невеликих зразках область відхилення може бути приурочена до верхнього хвоста. Знову ж таки, асимптотичний розподіл шкали у квадраті добре відомий, але ви можете отримати точний тест так само, як і для LRT. $\sigma_0$ $H_0:\sigma=\sigma_0$ $H_\mathrm{A}:\sigma \neq \sigma_0$

Інший підхід полягає в обмеженні вашої уваги неупередженими тестами, а саме тих, для яких потужність за будь-якої альтернативи перевищує розмір. Перевірте, чи достатня статистика має розподіл у експонентній родині; то для тесту на розмір , якщо або , інакше , ви можете знайти рівномірно найпотужніший неупереджений тест, вирішивши $\alpha$ $\phi(T)= 1$ $T<c_1$ $T>c_2$ $\phi(T)= 0$

\begin{aligned} E (ϕ (T)) & = α \\ E (T ϕ (T)) & = α E T \end{aligned}

$\begin{align} \operatorname{E}(\phi(T)) &= \alpha \\ \operatorname{E}(T\phi(T)) &= \alpha \operatorname{E} T \end{align}$

Сюжет допомагає показати зміщення в тесті з рівними хвостами та як він виникає:

При значеннях трохи більше збільшена ймовірність падіння статистики тесту у відхиленні верхнього хвоста відхилення не компенсує зменшену ймовірність його падіння в області відхилення нижнього хвоста та потужність тестові краплі нижче його розміру. $\sigma$ $\sigma_0$

Бути неупередженим - це добре; але не очевидно, що мати потужність, трохи меншу за розмір у невеликій області простору параметрів в межах альтернативи, так погано, що взагалі виключати тест.

Два з перерахованих вище двоступеневих тестів збігаються (для цього випадку, як правило, не:)

LRT є UMP серед об'єктивних тестів. У випадках, коли це не відповідає дійсності, LRT все ще може бути асимптотично неупередженим.

Я думаю, що всі, навіть односхилі тести, допустимі, тобто тест не є більш потужним або настільки потужним за всіх альтернатив - ви можете зробити тест більш потужним проти альтернативних в одному напрямку, лише зробивши його менш потужним проти альтернатив в іншому. напрямок. Зі збільшенням розміру вибірки розподіл чі-квадрата стає все більш симетричним, і всі двосхилі тести в кінцевому підсумку будуть приблизно однаковими (ще одна причина використання легкого тесту з рівними хвостами).

Зі складеною нульовою гіпотезою аргументи стають дещо складнішими, але я думаю, ви можете отримати практично однакові результати, mutatis mutandis. Зауважте, що один, але не інший з однохвостих тестів - це UMP!

— Скорчі - Відновлення Моніки
джерело

Скорчі дякую за вашу відповідь. Я все ще сумніваюся. По-перше, ви могли б трохи детальніше розглянути наступне речення? «Виправлення корекції багаторазового порівняння призводить до часто використовуваного тесту з областями відхилення однакового розміру в обох хвостах, і цілком розумно, коли ви збираєтесь стверджувати, що σ> σ0 або що σ <σ0, коли ви відхиляєте нуль». Крім того, чому ви вважаєте, що це розумно? Я думаю, що це суть мого питання, якщо я не помиляюся. ;)

— Старий чоловік у морі.

Я читав цей абзац з вашої відповідної відповіді, але я не дуже добре його зрозумів «Подвоєння найнижчого однозначного p-значення можна розглядати як корекцію множинних порівнянь для проведення двох односхилих тестів». Буду вдячний, якщо ви можете, будь ласка, пояснити це трохи більше. ;)

— Старий чоловік у морі.

Див. Корекцію Бонферроні . Якщо ви проводите два окремих тесту на розмір помилка сімейства типу I не більше , а коли області відхилення роз'єднуються, це точно . Я хотів би зазначити, що тест з рівними хвостами можна розглядати таким чином, оскільки люди, здається, іноді думають, що єдиними причинами його використання є легкість обчислення та наближення до інших тестів. Насправді кожен тест має своє обґрунтування: тому я б не сказав, що це суть вашого питання; справа коней на курсах.

α / 2

$\alpha/2$

α

$\alpha$

α

$\alpha$

— Scortchi

У цьому випадку, якщо альтернатива є двосторонньою складовою гіпотезою, зазвичай немає тесту на UMP.

Я не впевнений, чи це взагалі вірно. Звичайно, багато класичних результатів (Неймон-Пірсон, Карлін-Рубін) ґрунтуються на простої або однобічній гіпотезі, але узагальнення двосторонніх складових гіпотез існують. Ви можете знайти деякі замітки про це тут , а більше обговорення в підручнику тут .

Що стосується вашої проблеми, я не знаю, існує тест UMP чи ні. Але інтуїтивно, здається, що при втраті 0-1, однобічний тест, ймовірно, буде неприпустимим, і, таким чином, клас допустимого тесту становитимуть усі двосторонні тести. Надайте класу двосторонніх тестів, мета - знайти той, який має найбільшу потужність, що має автоматично відбуватися шляхом вибору квантилів навколо одного режиму . (Все це засноване на інтуїції). $\chi^2$

— Грінпаркер
джерело

Очевидно, що в цьому випадку не є рівномірно найпотужніший тест через існування різних тестів, найпотужніших щодо конкретних альтернатив у різних напрямках від . Для "найкращого" тесту, визначеного за потужністю, вам доведеться шукати рівномірно найпотужніший тест з усіх неупереджених тестів або всіх інваріантних тестів ; або для місцевого найпотужнішого випробування; чи щось подібне - і, можливо, закінчується прийняття будь-якого допустимого тесту.

σ_{0}

$\sigma_0$

— Scortchi