Оцінювач Джеймса-Штейна: Як Ефрон та Морріс обчислили в коефіцієнті усадки для їх прикладу бейсболу?

18

У мене виникає питання щодо обчислення коефіцієнта усадки Джеймса-Штейна в науковому американському документі Бредлі Ефрона та Карла Морріса 1977 року, "Парадокс Штейна в статистиці" .

Я зібрав дані для бейсболістів, і вони наведені нижче:

Name, avg45, avgSeason    
Clemente, 0.400, 0.346    
Robinson, 0.378, 0.298    
Howard, 0.356, 0.276    
Johnstone, 0.333, 0.222    
Berry, 0.311, 0.273    
Spencer, 0.311, 0.270    
Kessinger, 0.289, 0.263    
Alvarado, 0.267, 0.210    
Santo, 0.244, 0.269    
Swoboda, 0.244, 0.230    
Unser, 0.222, 0.264    
Williams, 0.222, 0.256    
Scott, 0.222, 0.303    
Petrocelli, 0.222, 0.264    
Rodriguez, 0.222, 0.226    
Campaneris, 0.200, 0.285    
Munson, 0.178, 0.316    
Alvis, 0.156, 0.200

avg45є середнім значенням після у кажанів і позначається як у статті. - це кінець сезону в середньому. $45$ $y$ avgSeason

Оцінювач Джеймса-Штейна для середнього ( ) задається а коефіцієнт усадки задається (стор. 5 статті «Науковий американський 1977» ) $z$

z = \bar{y} + c (y - \bar{y})

$z = \bar{y} + c (y-\bar{y})$

c

$c$

c = 1 - \frac{(k - 3) σ^{2}}{\sum (y - \bar{y})^{2}},

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2},$

де - кількість невідомих засобів. Тут є 18 гравців, тому . Я можу обчислити використовуючи значення. Але я не знаю, як обчислити . Автори кажуть, що для даного набору даних. $k$ $k = 18$ $\sum (y - \bar{y})^2$ avg45 $\sigma^2$ $c = 0.212$

Я спробував використовувати обидва та для але вони не дають правильної відповіді $\sigma_{x}^2$ $\sigma_{y}^2$ $\sigma^2$ $c = 0.212$

Чи може хтось бути добрим, щоб дозволити мені знати, як обчислити для цього набору даних? $\sigma^2$

estimation shrinkage steins-phenomenon

— Ананд
джерело

1

Я знаю, що MAD ( en.wikipedia.org/wiki/Median_absolute_deviation ) багато використовується для скорочення вейвлетів.

— Робін Жирард

19

Параметр - це (невідома) загальна дисперсія компонентів вектора, кожна з яких, як ми вважаємо, зазвичай розподілена. Для бейсбольних даних ми маємо , тому нормальне наближення до біноміального розподілу дає (прийняття ) $\sigma^2$ $45 \cdot Y_i \sim \mathsf{binom}(45,p_i)$ $\hat{p_{i}} = Y_{i}$

{\hat{p}}_{i} \approx n o r m (m e a n = p_{i}, v a r = p_{i} (1 - p_{i}) / 45) .

$\hat{p}_{i}\approx \mathsf{norm}(\mathtt{mean}=p_{i},\mathtt{var} = p_{i}(1-p_{i})/45).$

Очевидно, що в цьому випадку відхилення не рівні, але якби вони дорівнювали загальному значенню, то ми могли б оцінити це за допомогою об'єднаного оцінювача де - велика середня Схоже, це зробили Ефрон та Морріс (у статті 1977 р.).

{\hat{σ}}^{2} = \frac{\hat{p} (1 - \hat{p})}{45},

$\hat{\sigma}^2 = \frac{\hat{p}(1 - \hat{p})}{45},$

\hat{p}

$\hat{p}$

\hat{p} = \frac{1}{18 \cdot 45} \sum_{i = 1}^{18} 45 \cdot Y_{i} = \bar{Y} .

$\hat{p} = \frac{1}{18\cdot 45}\sum_{i = 1}^{18}45\cdot{Y_{i}}=\overline{Y}.$

Ви можете перевірити це за допомогою наступного коду R. Ось дані:

y <- c(0.4, 0.378, 0.356, 0.333, 0.311, 0.311, 0.289, 0.267, 0.244, 0.244, 0.222, 0.222, 0.222, 0.222, 0.222, 0.2, 0.178, 0.156)

і ось оцінка для : $\sigma^2$

s2 <- mean(y)*(1 - mean(y))/45

що є . Тоді коефіцієнт усадки в папері $\hat{\sigma}^2 \approx 0.004332392$

1 - 15*s2/(17*var(y))

що дає . Зауважте, що у другій статті вони здійснили перетворення, щоб уникнути проблеми дисперсії (як сказав @Wolfgang). Також відзначте, що в документі 1975 року вони використовували тоді як у 1977 році вони використовували . $c \approx 0.2123905$ $k - 2$ $k - 3$

Відмінне пояснення, я люблю нормальне наближення двочлена.

— Чемберлен Фонша

14

Я не зовсім впевнений у відношенні , але наступна стаття надає набагато більш детальний опис цих даних: $c = 0.212$

Efron, B., & Morris, C. (1975). Аналіз даних за допомогою оцінки Штейна та його узагальнення. Журнал Американської статистичної асоціації, 70 (350), 311-319 (посилання на pdf)

або більш детально

Efron, B., & Morris, C. (1974). Аналіз даних за допомогою оцінки Штейна та його узагальнення. R-1394-OEO, Корпорація RAND, березень 1974 р. (Посилання на pdf) .

На сторінці 312 ви побачите, що Ефрон і Морріс використовують дугові перетворення цих даних, так що дисперсія середніх ватин становить приблизно одиницю:

> dat <- read.table("data.txt", header=T, sep=",")
> yi  <- dat$avg45
> k   <- length(yi)
> yi  <- sqrt(45) * asin(2*yi-1)
> c   <- 1 - (k-3)*1 / sum((yi - mean(yi))^2)
> c
[1] 0.2091971

Тоді вони використовують c = .209 для обчислення значень , які ми можемо легко перетворити: $z$

> zi  <- mean(yi) + c * (yi - mean(yi))
> round((sin(zi/sqrt(45)) + 1)/2,3) ### back-transformation
[1] 0.290 0.286 0.282 0.277 0.273 0.273 0.268 0.264 0.259
[10] 0.259 0.254 0.254 0.254 0.254 0.254 0.249 0.244 0.239

Отже, це значення оцінки Штейна. Для Клементе ми отримуємо .290, що досить близько до .294 зі статті 1977 року.

— Вольфганг
джерело