Інтуїція, чому парадокс Штейна застосовується лише в розмірах

Приклад Штейна показує, що максимальна оцінка ймовірності $n$ нормально розподілених змінних із значеннями $\mu_1,\ldots,\mu_n$ та дисперсіями $1$ є неприпустимою (за функцією квадратних втрат) iff $n\ge 3$ . Для чіткого доказу дивіться першу главу великомасштабного умовиводу: Емпіричні методи Байєса для оцінки, тестування та прогнозування Бредлі Ефрона.

$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

Моє питання швидше: Якої властивості -вимірного простору (для ) не вистачає що полегшує приклад Штейна? Можливі відповіді можуть бути про викривлення -сфери або щось зовсім інше.$n$$n\ge 3$$\mathbb{R}^2$$n$

Іншими словами, чому MLE допустимий в ?$\mathbb{R}^2$

Редагувати 1: У відповідь на @mpiktas стурбовано приблизно 1.31 після 1.30:

Редагувати 2 : У цій статті Штейн доводить, що MLE допустимий для .$N=2$

Дихотомія між випадками та для допустимості MLE середнього значення -вимірної багатоваріантної нормальної випадкової величини, безумовно, шокуюча.$d < 3$$d \geq 3$$d$

Є ще один дуже відомий приклад вірогідності та статистики, в якому існує дихотомія між та випадками. Це повторення простої випадкової прогулянки по решітці . Тобто -вимірний простий випадковий хід повторюється в 1 або 2 вимірах, але є перехідним у вимірах. Аналог безперервного часу (у формі броунівського руху) також має місце.$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

Виявляється, ці два тісно пов'язані.

Ларрі Браун довів, що два питання по суті є рівнозначними. Тобто, кращий інваріант оцінювач про -мірному багатовимірного нормального вектора середньої допустимо тоді і тільки тоді , коли - мірне броунівський рух є поворотним.$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

Насправді його результати йдуть набагато далі. Для будь-якого розумного (тобто узагальненого Байєса) оцінки з обмеженим (узагальненим) ризиком , існує явна (!) Відповідна розмірна дифузія, така що Оцінювач допустимий тоді і лише тоді, коли його відповідна дифузія повторюється.$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

Локальне середнє цієї дифузії, по суті , розбіжність між цими двома оцінками, тобто і ковариация дифузії . З цього легко зрозуміти, що для випадку MLE , ми відновлюємо (переосмислюємо) броунівський рух.$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

Тож у деякому сенсі ми можемо розглянути питання про прийнятність через лінзу стохастичних процесів і використовувати добре вивчені властивості дифузій, щоб дійти до бажаних висновків.

Список літератури

1. Л. Браун (1971). Допустимі оцінки, періодичні дифузії та нерозв'язні граничні проблеми . Енн. Математика. Стат. , т. 42, ні. 3, с. 855–903.
2. Р. Н. Бхаттачарія (1978). Критерії повторення та існування інваріантних заходів для багатовимірних дифузій . Енн. Проб. , т. 6, ні. 4, 541–553.

@cardinal дав чудову відповідь (+1), але все питання залишається таємничим, якщо хтось не знайомий з доказами (а я - ні). Тому я думаю, що питання залишається питанням, що є інтуїтивно зрозумілою причиною того, що парадокс Штейна не відображається в та .$\mathbb R$$\mathbb R^2$

Я вважаю дуже корисною перспективу регресії, запропоновану в Стівена Стіглера, 1990, "Галтонівська перспектива на оцінювачі усадки" . Розглянемо незалежні вимірювання , кожен з яких вимірює деякі основні (непомічені) і відбирається з . Якби ми якось знали , ми могли б зробити графік розкидання пар :$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

Діагональна лінія відповідає нульовому шуму і досконалій оцінці; насправді шум не нульовий, тому точки зміщуються від діагональної лінії в горизонтальному напрямку . Відповідно, можна розглядати як лінію регресії на . Ми, однак, знаємо і хочемо оцінити , тому слід скоріше розглянути лінію регресії на - яка матиме інший нахил, зсунутий по горизонталі , як показано на рисунку (пунктирна лінія).$\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

Цитуючи з статті Стиглера:

Ця галтонівська перспектива на парадокс Штейна робить його майже прозорим. "Звичайні" оцінки виведені з теоретичної лінії регресії на . Цей рядок був би корисним, якби нашою метою було передбачити від , але наша проблема полягає в зворотному, а саме передбачити від використовуючи суму квадратичних помилок як критерій. Для цього критерію оптимальні лінійні оцінювачі задаються лінією регресії найменших квадратів на$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$, і оцінки Джеймса-Штейна та Ефрона-Морріса самі є оцінками цього оптимального лінійного оцінювача. "Звичайні" оцінки виводяться з неправильної регресійної лінії, оцінки Джеймса-Штейна та Ефрона-Морріса виводяться з наближень до правої лінії регресії.

А тепер настає найважливіший біт (наголос додано):

Ми навіть можемо побачити, чому необхідний: якщо або , то найменші квадрати на повинні проходити через точки , а значить, для або , дві регресійні лінії ( на і на ) повинні узгоджуватися на кожному .$k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

Я думаю, що це дає зрозуміти, що особливе в і .k = $k=1$$k=2$