Чому порівняно з асимптотичною відносною ефективністю тесту Вілкоксона порівняно з t-тестом Стьюдента для нормально розподілених даних?

Добре відомо, що відносна асимптотична ефективність (ARE) тесту з рангом підписаного Вілкоксоном є порівняно з t- тестом Стьюдента , якщо дані отримані з нормально розподіленої сукупності. Це справедливо як для базового тесту на один зразок, так і для варіанта для двох незалежних зразків (Wilcoxon-Mann-Whitney U). Це також мають тест Круськала-Уолліса по порівнянні з ANOVA F -тест, для нормальних даних. $\frac{3}{\pi} \approx 0.955$

Чи має цей чудовий (для мене один із " найнесподіваніших проявів $\pi$ ") та надзвичайно простий результат проникливий, чудовий чи простий доказ?

— Срібна рибка
джерело

З огляду на появу в нормальному СГО, поява в ARE не повинно бути дійсно все , що дивно. Я загрожую відповіддю, але пройде певний час, щоб зробити хороший.

π

$\pi$

π

$\pi$

— Glen_b -Встановіть Моніку

@Glen_b Дійсно - я вже бачив дискусію "чому з'являється так багато в статистиці" (хоча я не можу пригадати, було це в CV чи ні) і "через нормальний розподіл" я знаю, що урожай багато , але все ще приємно дивує перший раз, коли ви його бачите. Для порівняння ARE Манна-Вітні проти двопробного t-тесту - 3 за експоненціальними даними, 1,5 - для подвійного експоненціалу та 1 - для рівномірного - набагато кругліше!

π

$\pi$

3 / π

$3/\pi$

— Срібляста рибка

@Silverfish Я пов’язав сторінку 197 Ван дер Ваарта "Асимптотична статистика". Для одного зразка тестові знаки мають ARE щодо t-тесту.

2 / π

$2/\pi$

— Хашаа

@Silverfish ... і при логістиці це . Існує досить багато відомих ARE (в одному або двох вибіркових випадках), що включають і досить багато, які є простими співвідношеннями цілих чисел.

(π / 3)^{2}

$(\pi/3)^2$

π

$\pi$

— Glen_b -Встановіть Моніку

Для одного зразка, підписаного ранговим тестом, здається, що це . Для одного зразка тестового знаку це . Отже, ми уточнили свою позицію. Я думаю, що це хороший знак.

3 / π

$3/\pi$

2 / π

$2/\pi$

— Хашаа

Відповіді:

Короткий ескіз ARE для одноразового -test, підписаного тесту та тесту підписаного рангу $t$

Я очікую, що довга версія відповіді @ Glen_b включає детальний аналіз двоспробового підписаного рангового тесту разом з інтуїтивним поясненням ARE. Тож я пропущу більшу частину виведення. (У випадку з одним зразком ви можете знайти відсутні деталі в Lehmann TSH).

Проблема тестування : Нехай - випадкова вибірка з моделі розташування , симетрична приблизно нулю. Ми повинні обчислити ARE підписаного тесту, підписаного тесту з рангом для гіпотези щодо t-тесту. $X_1,\ldots,X_n$ $f(x-\theta)$ $H_0: \theta=0$

Для оцінки відносної ефективності тестів розглядаються лише локальні альтернативи, оскільки послідовні випробування мають потужність, що має тенденцію до 1 проти нерухомої альтернативи. Локальні альтернативи, що породжують нетривіальну асимптотичну силу, часто мають форму для фіксованого , що в деякій літературі називається дрейфом Пітмена . $\theta_n=h/\sqrt{n}$ $h$

Попереду наше завдання

знайти граничне розподіл кожної статистики тесту під нулем
знайти граничне розподіл кожної статистики тесту під альтернативу
обчислити локальну асимптотичну силу кожного тесту

Тест на статику та асимптотику

t-тест (з огляду на існування ) t n = √
$t_{n} = \sqrt{n} \frac{\bar{X}}{\hat{σ}} \to_{d} N (0, 1) under the null$

$t_{n} = \sqrt{n} \frac{\bar{X}}{\hat{σ}} \to_{d} N (h / σ, 1) under the alternative θ = h / \sqrt{n}$
- тому тест, який відхиляє, якщо має функцію асимптотичного живлення $t_n>z_\alpha$ $1 - Φ (z_{α} - h \frac{1}{σ})$ $1-\Phi\left(z_\alpha-h\frac{1}{\sigma}\right)$
підписаний тест і має локальну асимптотичну потужність $S_n=\frac{1}{n}\sum_{i=1}^{n}1\{X_i>0\}$ $\sqrt{n} (S_{n} - \frac{1}{2}) \to_{d} N (0, \frac{1}{4}) under the null$ $\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(0,\frac{1}{4}\right)\quad \text{under the null }$ $\sqrt{n} (S_{n} - \frac{1}{2}) \to_{d} N (h f (0), \frac{1}{4}) under the alternative$ $\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(hf(0),\frac{1}{4}\right)\quad \text{under the alternative }$ $1 - Φ (z_{α} - 2 h f (0))$ $1-\Phi\left(z_\alpha-2hf(0)\right)$
тест підписаного рейтингу і має локальну асимптотичну потужність $W_{n} = n^{- 2 / 3} \sum_{i = 1}^{n} R_{i} 1 {X_{i} > 0} \to_{d} N (0, \frac{1}{3}) under the null$ $W_n=n^{-2/3}\sum_{i=1}^{n}R_i1\{X_i>0\}\to_dN\left(0,\frac{1}{3}\right)\quad \text{under the null }$ $W_{n} \to_{d} N (2 h \int f^{2}, \frac{1}{3}) under the alternative$ $W_n\to_dN\left(2h\int f^2,\frac{1}{3}\right)\quad \text{under the alternative }$ $1 - Φ (z_{α} - \sqrt{12} h \int f^{2})$ $1-\Phi\left(z_\alpha-\sqrt{12}h\int f^2\right)$

Тому Якщо стандартна нормальна щільність, ,

A R E (S_{n}) = (2 f (0) σ)^{2}

$ARE(S_n)=(2f(0)\sigma)^2$

A R E (W_{n}) = (\sqrt{12} \int f^{2} σ)^{2}

$ARE(W_n)=(\sqrt{12}\int f^2\sigma)^2$

f

$f$

A R E (S_{n}) = 2 / π

$ARE(S_n)=2/\pi$

A R E (W_{n}) = 3 / π

$ARE(W_n)=3/\pi$

Якщо є рівномірним на [-1,1], , $f$ $ARE(S_n)=1/3$ $ARE(W_n)=1/3$

Зауваження щодо виведення розподілу за альтернативою

Звичайно, існує багато способів вивести обмежувальний розподіл під альтернативу. Одним із загальних підходів є використання третьої леми Le Cam. У спрощеній версії зазначено

Нехай - журнал коефіцієнта ймовірності. Для деякої статистики , якщо під нулем, тоді $\Delta_n$ $W_n$
$(W_{n}, Δ_{n}) \to_{d} N [(\begin{matrix} μ \\ - σ^{2} / 2 \end{matrix}), (\begin{array}{cc} σ_{W}^{2} & τ \\ τ & σ^{2} / 2 \end{array})]$ $(W_n,\Delta_n)\to_d N\left[\left(\begin{array}{c} \mu\\ -\sigma^2/2 \end{array}\right),\left(\begin{array}{cc} \sigma^2_W & \tau \\ \tau & \sigma^2/2 \end{array}\right)\right]\\$ $W_{n} \to_{d} N (μ + τ, σ_{W}^{2}) under the alternative$ $W_n\to_d N\left(\mu+\tau,\sigma^2_W\right)\quad\text{under the alternative}$

Для квадратичної середньої диференційованої щільності локальна асимптотична нормальність і суміжність автоматично задовольняється, що, в свою чергу, передбачає лем ле Кам. Використовуючи цю лему, нам потрібно лише обчислити під нулем. підпорядковується локальної мережі де знаходиться функція, - інформаційна матриця. Тоді, наприклад, для підписаного тесту $\mathrm{cov}(W_n,\Delta_n)$ $\Delta_n$

Δ_{n} \approx \frac{h}{\sqrt{n}} \sum_{i = 1}^{n} l (X_{i}) - \frac{1}{2} h^{2} I_{0}

$\Delta_n\approx \frac{h}{\sqrt{n}}\sum_{i=1}^{n}l(X_i)-\frac{1}{2}h^2I_0$

l

$l$

I_{0}

$I_0$

S_{n}

$S_n$

c o v (\sqrt{n} (S_{n} - 1 / 2), Δ_{n}) = - h c o v (1 {X_{i} > 0}, \frac{f^{'}}{f} (X_{i})) = h \int_{0}^{\infty} f^{'} = h f (0)

$\mathrm{cov}(\sqrt{n}(S_n-1/2),\Delta_n)=-h\mathrm{cov}\left(1\{X_i>0\},\frac{f'}{f}(X_i)\right)=h\int_0^\infty f'=hf(0)$

— Хашаа
джерело

+1 Я не збирався заглиблюватись у таку детальну деталь (дійсно, з вашою відповіддю вже досить добре висвітлюються речі, я, мабуть, нічого не додаду до того, що я маю зараз), тож якщо ви хочете детальніше розповісти, не робіть » не стримуйте мій рахунок. У мене було б ще кілька днів (і все-таки менше, ніж у вас вже є), тож це добре, що ви прийшли.

— Glen_b -Встановіть Моніку

Це гарна відповідь, особливо для додавання в лем Лемо (+1). Мені здається, існує досить великий стрибок між встановленням асимптотики в 1, 2 і 3, і бітом "отже", де ви пишете ARE. Я думаю, якби я писав це, я б визначив асимптотичну ефективність у цей момент (а може і раніше, тому підсумок пунктів 1, 2 і 3 був би АЕ не просто локальними асимптотичними силами в кожному випадку), а потім кроком майбутнім читачам було б набагато легше наслідувати ARE.

— Срібна рибка

Можливо, варто вказати свій ? Односторонні та двосторонні випадки мають різну вигляд асимптотичної сили (хоча вони призводять до одних і тих же АРЕ).

H_{1}

$H_1$

— Срібна рибка

Не соромтесь відредагувати мою відповідь або додати її до ОП.

— Хашаа

@Khashaa Дякую Я відредагую вашу посаду, коли в мене будуть потрібні речі. Ви б заперечили уточнити значення у заключному рівнянні?

*

$*$

— Срібна рибка

Це не має нічого спільного з поясненням того, чому з'являється (що було добре пояснено іншими), але може допомогти інтуїтивно. Тест Вілкоксона є -тестом у ранжирах тоді як параметричний тест обчислюється на необроблених даних. Ефективність тесту Вілкоксона відносно -тесту є площею кореляції між балами, використаними для двох тестів. Як кореляція у квадраті сходиться до . Ви можете легко побачити це емпірично за допомогою R: $\pi$ $t$ $Y$ $t$ $n\rightarrow \infty$ $\frac{\pi}{3}$

n <- 1000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549402
[1] 0.9549297
n <- 100000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549298
[1] 0.9549297

— Френк Харрелл
джерело

Це дійсно дуже корисний коментар. Це трохи концептуально ближче до цього n <- 1e6; x <- rnorm(n); cor(x, rank(x))^2(що, очевидно, дає такий же результат)?

— Срібна рибка

(Люди заінтригований коментар Франка може захотіти поглянути на це питання про еквівалентність Вілкоксона-Манна-Уїтні U і т -test на ранги .)

— Серебрянка

Що я не розумію у цій відповіді, це те, що кореляція вища для менших значень (я думаю, що проксимальна причина полягає в тому, що ми не бачимо хвости дуже добре для менших ). Наївно, це означає, що відносна ефективність Вілкоксона вище для малих , що мене дивує ... ?? (Я можу зробити кілька симуляцій, але (а) якщо є легка відповідь ... і (б) чи я десь пропускаю концептуальну точку?)

n

$n$

n

$n$

n

$n$

— Бен Болкер,

Наскільки мені здається, невелика ефективність вибірки і тестування рангів, підписаних Вілкоксоном, і WMW трохи нижче асимптотичного значення для альтернативних змін при нормальному розподілі.

— Glen_b -Встановити Моніку

Коротка версія: Основна причина, що стосується альтернативи зміщення Вілкоксона-Манна-Вітні, полягає в тому, що пошук відносної ефективності асимптотики (WMW / t) відповідає оцінці де - загальна щільність при нулі, а - загальна дисперсія. $12\sigma^2[\int f^2(x) dx]^2$ $f$ $\sigma$

Отже, за нормальної величини є фактично масштабованою версією ; його інтеграл матиме термін; у квадраті це джерело . $f^2$ $f$ $\frac{1}{\sqrt{\pi}}$ $\frac{ \;}{\pi}$

Один і той же термін - з тим же інтегралом - бере участь у ARE для підписаного тесту на ранг, тому він приймає те саме значення.

Для випробування знаків відносно t ARE дорівнює ... і знову має . $4\sigma^2f(0)^2$ $f(0)^2$ $\frac{ \;}{\pi}$

Тож по суті це, як я вже сказав у коментарях; знаходиться в ARE для тесту Wilcoxon-Mann-Whitney vs двома зразком t тесту, для Wilcoxon підписаного тесту на ранговий показник проти одного зразка t та знакового випробування проти однопробного t випробування (у кожному випадку на нормальний) цілком буквально, оскільки він з'являється в нормальній щільності. $\pi$

Довідка:

Дж. Л. Ходжес та Е. Л. Леманн (1956),
"Ефективність деяких непараметричних конкурентів t-тесту",
Енн. Математика. Статист. , 27 : 2, 324-335.

— Glen_b -Встановити Моніку
джерело

Мені подобається пояснення інтуїції появи в знаменнику; чи по суті збіг, що ентропія Рені виявляється в інтегралах WMW / Wilcoxon?

π

$\pi$

— Срібляста рибка

@Silverfish Те, що з'являється , звичайно, не випадковість. Однак це не тому, що це пов'язано з ентропією Рені, або, принаймні, я не бачу прямого зв'язку. Хоча ми впадаємо в речі, про які зараз насправді не знаю.

\int f^{2} d x

$\int f^2 dx$

— Glen_b -Встановіть Моніку

@Silverfish Це лише ентропія Рені для . Інакше це просто звичайний старий квадрат, який може скласти мільйон різних способів.

α = 2

$\alpha=2$

— abalter