Чому оцінку Джеймса-Штейна називають оцінкою "усадки"?

Я читав про оцінку Джеймса-Штейна. У цій примітці вона визначена як

\hat{θ} = (1 - \frac{p - 2}{‖ Х ‖^{2}}) Х

$\hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X$

Я прочитав доказ, але не розумію наступного твердження:

Геометрично оцінювач Джеймса – Штейна зменшує кожну складову напрямку походження ... $X$

Що саме означає "скорочення кожного компонента $X$ до початку"? Я думав про щось на кшталт

‖ \hat{θ} - 0 ‖^{2} < ‖ Х - 0 ‖^{2},

$\|\hat{\theta} - 0\|^2 < \|X - 0\|^2,$ що в цьому випадку справедливо до тих пір, поки

(p + 2) < ‖ X ‖^{2}

$(p+2) < \|X\|^2$ , оскільки

‖ \hat{θ} ‖ = \frac{‖ Х ‖^{2} - (p + 2)}{‖ Х ‖^{2}} ‖ Х ‖ .

$\|\hat{\theta}\| = \frac{\|X\|^2 - (p+2)}{\|X\|^2} \|X\|.$

Це те, що люди мають на увазі, коли вони говорять "зменшитись до нуля", оскільки в сенсі норми $L^2$ оцінка JS ближче до нуля, ніж $X$ ?

Оновлення станом на 22.09.2017 : Сьогодні я зрозумів, що, можливо, надто ускладнюю речі. Здається, люди насправді означають, що раз ви помножите $X$ на щось менше, ніж $1$ , а саме термін $\frac{\|X\|^2 - (p + 2)}{\|X\|^2}$ , кожен компонент $X$ буде меншим, ніж раніше.

— 3x89g2
джерело

Малюнок іноді коштує тисячі слів, тому дозвольте мені поділитися з вами. Нижче ви можете побачити ілюстрацію, що виходить із статті Бредлі Ефрона (1977) про парадокс Штейна у статистиці . Як бачите, те, що оцінювач Штейна робить, це перенести кожне зі значень ближче до величини середньої величини. Це робить значення більші за середнє значення менше, а значення, менші за середнє значення, більше. Під усадкою ми маємо на увазі переміщення значень до середнього , або до нуля в деяких випадках - як регульована регресія -, що зменшує параметри до нуля.

Звичайно, мова йде не лише про скорочення самого себе, але те, що довели Штейн (1956) та Джеймс і Штейн (1961) , - це те, що оцінювач Штейна домінує в оцінці максимальної ймовірності з точки зору загальної квадратичної помилки,

Е_{мк} (‖ {\hat{мк}}^{J S} - мк ‖^{2}) < Е_{мк} (‖ {\hat{мк}}^{М L Е} - мк ‖^{2})

$E_\mu(\| \boldsymbol{\hat\mu}^{JS} - \boldsymbol{\mu} \|^2) < E_\mu(\| \boldsymbol{\hat\mu}^{MLE} - \boldsymbol{\mu} \|^2)$

де , - оцінювач Штейна і , де обидва оцінки оцінюються на вибірці . Докази наведені в оригінальних документах та додатку до статті, на яку ви посилаєтесь. У звичайній англійській мові вони показали, що якщо ви одночасно робите відгадок, то, з точки зору загальної помилки у квадраті, вам краще зробити їх, скоротивши їх, порівняно з дотриманням своїх початкових здогадок. $\boldsymbol{\mu} = (\mu_1,\mu_2,\dots,\mu_p)'$ $\hat\mu^{JS}_i$ $\hat\mu^{MLE}_i = x_i$ $x_1,x_2,\dots,x_p$ $p > 2$

Нарешті, оцінювач Штейна, безумовно, не єдиний оцінювач, який дає ефект усадки. Для інших прикладів ви можете перевірити цю запис у блозі чи згадувану Байєсівську книгу аналізу даних Gelman et al. Ви також можете перевірити теми щодо регульованої регресії, наприклад, яку проблему вирішують методи усадки? або Коли використовувати методи регуляризації для регресії? , для інших практичних застосувань цього ефекту.

— Тім
джерело

Стаття здається корисною, і я її прочитаю. Я оновив своє запитання, щоб далі пояснити свої думки. Не могли б ви поглянути? Спасибі!

— 3x89g2

@Tim Я думаю, що аргумент Місакова є правомірним тим, що оцінювач Джеймса-Штейна наближає оцінку до нуля, ніж MLE. Нуль відіграє центральну і центральну роль у цьому оцінювачі, і оцінювачі Джеймса-Штейна можуть бути побудовані, що скорочуються до інших центрів або навіть підпросторів (як у Джордж, 1986). Наприклад, Ефрон і Морріс (1973) скорочуються до загальної середньої величини, яка становить діагональний підпростір.

θ

$\theta$

— Сіань