Оцінювач Джеймса-Штейна з неоднаковими варіаціями

Кожне твердження, що я знаходжу оцінника Джеймса-Штейна, передбачає, що випадкові змінні, що оцінюються, мають однакову (і одиничну) дисперсію.

Але всі ці приклади також згадують, що оцінювач JS може бути використаний для оцінки величин, що не мають нічого спільного. Приклад вікіпедії - швидкість світла, споживання чаю на Тайвані та вага свиней у Монтані. Але, імовірно, ваші вимірювання цих трьох величин мали б різні "справжні" відхилення. Чи є це проблемою?

Це пов'язане з більшою концептуальною проблемою, яку я не розумію, пов'язаною з цим питанням: Оцінювач Джеймса-Штейна: Як Ефрон та Морріс обчислили в коефіцієнті усадки для їх прикладу бейсболу? $\sigma^2$ Обчислюємо коефіцієнт усадки таким чином: $c$

c = 1 - \frac{(k - 3) σ^{2}}{\sum (y - \bar{y})^{2}}

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2}$

Інтуїтивно я думаю, що термін насправді - різний для кожної кількості, що оцінюється. Але обговорення в цьому питанні говорить лише про використання об'єднаної дисперсії ... $\sigma^2$ $\sigma^2_i$

Я був би дуже вдячний, якби хтось міг усунути цю плутанину!

estimation shrinkage steins-phenomenon

— exp1orer
джерело

Якщо дисперсія ми можемо просто вліво помножити на щоб повернутися до проблеми Джеймса-Штейна. Якщо невідомо, але кожне "спостереження" в задачі є середньою вибіркою, розрахованою на основі спостережень, ми можемо оцінити допомогою деякої і сподіваємось, що ми також отримаємо ситуацію Джеймса-Штейна, якщо попередньо помножити на замість цього.

D = diag (σ_{1}^{2}, \dots, σ_{n}^{2})

$D = \mbox{diag}(\sigma_1^2, \ldots, \sigma_n^2)$

D^{- 1 / 2}

$D^{-1/2}$

D

$D$

m_{i}

$m_i$

D

$D$

\hat{D}

$\hat D$

{\hat{D}}^{- 1 / 2}

$\hat D^{-1/2}$

— хлопець

@guy: це розумна пропозиція (+1), однак це призведе до однакового коефіцієнта усадки для всіх змінних, тоді як можна було б зменшити змінні по-різному, залежно від їх відмінності / невизначеності. Дивіться відповідь, яку я щойно опублікував.

— амеба

@amoeba Звичайно; Я не припускав, що мій оцінювач є практичним, лише він ілюструє, чому люди говорять про те, що ОП згадувалося у його другому абзаці.

— хлопець

На це запитання було чітко відповідено в класичній серії робіт про оцінку Джеймса-Штейна в контексті "Емпіричного Байєса", написаній в 1970-х роках "Ефроном та Моррісом". В основному я маю на увазі:

Ефрон і Морріс, 1973, Правило оцінки Штейна та його конкуренти - емпіричний підхід Байєса
Efron and Morris, 1975, Аналіз даних за допомогою Оцінювача Штейна та його узагальнення
Ефрон і Морріс, 1977, Парадокс Штейна в статистиці

Документ 1977 року - це нетехнічна експозиція, яку обов'язково потрібно прочитати. Там вони вводять приклад бейсбольного ватання (про що йде мова в потоці, до якого ви пов’язані); у цьому прикладі відхилення спостереження дійсно повинні бути рівними для всіх змінних, а коефіцієнт усадки постійний. $c$

Однак вони продовжують наводити інший приклад, який оцінює показники токсоплазмозу в ряді міст Сальвадору. У кожному місті було обстежено різну кількість людей, і тому окремі спостереження (рівень токсоплазмозу в кожному місті) можна вважати різними варіаціями (чим менша кількість обстежених людей, тим більша дисперсія). Інтуїція, безумовно, полягає в тому, що точки даних з низькою дисперсією (низькою невизначеністю) не потрібно стискати так сильно, як точки даних з великою дисперсією (висока невизначеність). Результат їх аналізу показаний на наступному малюнку, де це дійсно можна побачити:

введіть тут опис зображення

Ці ж дані та аналіз представлені в набагато більш технічному документі 1975 року, і в набагато більш елегантній фігурі (на жаль, не показуючи окремих варіацій), див. Розділ 3:

введіть тут опис зображення

Там вони представляють спрощене емпіричне лікування Байєса, яке йде наступним чином. Нехай де невідомо. У випадку, коли всі однакові, стандартне емпіричне лікування Байєса полягає в оцінці як , а також обчислення середнього рівня після як що нічого інше, ніж оцінювач Джеймса-Штейна.

X_{i} | θ_{i} \sim N (θ_{i}, D_{i}) θ_{i} \sim N (0, A)

$X_i|\theta_i \sim \mathcal N(\theta_i, D_i)\\ \theta_i \sim \mathcal N(0, A)$

A

$A$

D_{i} = 1

$D_i=1$

1 / (1 + A)

$1/(1+A)$

(k - 2) / \sum X_{j}^{2}

$(k-2)/\sum X_j ^2$

θ_{i}

$\theta_i$

{\hat{θ}}_{i} = (1 - \frac{1}{1 + A}) X_{i} = (1 - \frac{k - 2}{\sum X_{j}^{2}}) X_{i},

$\hat \theta_i = \left(1-\frac{1}{1+A}\right)X_i = \left(1-\frac{k-2}{\sum X_j^2}\right)X_i,$

Якщо зараз , то правило оновлення Байєса є і ми можемо використовувати той самий емпіричний трюк Байєса для оцінки , навіть якщо в цьому випадку немає закритої формули для (див. папір). Однак вони зазначають це $D_i \ne 1$

{\hat{θ}}_{i} = (1 - \frac{D_{i}}{D_{i} + A}) X_{i}

$\hat \theta_i = \left(1-\frac{D_i}{D_i+A}\right)X_i$

A

$A$

\hat{A}

$\hat A$

... це правило не зводиться до Штейна, коли всі рівні, і ми натомість використовуємо другорядний варіант цього оцінювача, похідний у [документі 1973 р.], який редукує до Штейна. Правило варіанту оцінює різне значення для кожного міста. Різниця між правилами в цьому випадку незначна, але може бути важливим, якби було меншим. $D_j$ $\hat A_i$ $k$

Відповідний розділ у документі 1973 р. - Розділ 8, і він трохи жорсткіше читає. Цікаво, що вони мають чіткий коментар до пропозиції, яку висловив @guy в коментарях вище:

Дуже простий спосіб узагальнити правило Джеймса-Штейна для цієї ситуації - визначити , так що , застосувати [оригінальне правило Джеймса-Штейна] до перетворених даних, а потім перетворити назад до початкових координат. Отримане правило оцінює по Це непривабливо, оскільки кожен скорочується до початку за одним і тим же фактором. $\tilde x_i = D_i^{-1/2} x_i, \tilde \theta_i = D_i^{-1/2} \theta_i$ $\tilde x_i \sim \mathcal N(\tilde \theta_i, 1)$ $\theta_i$
${\hat{θ}}_{i} = (1 - \frac{k - 2}{\sum [X_{j}^{2} / D_{j}]}) X_{i} .$ $\hat \theta_i = \left(1-\frac{k-2}{\sum [X_j^2 / D_j]}\right)X_i.$ $X_i$

Потім вони продовжують описувати свою кращу процедуру оцінки яку, маю визнати, я не повністю прочитав (це трохи пов'язано). Я пропоную вам заглянути там, якщо вас цікавлять деталі. $\hat A_i$

— амеби
джерело