Підвищення мінімального оцінювача

Припустимо, у мене є позитивних параметрів для оцінки та їх відповідних об'єктивних оцінок, отриманих оцінювачами , тобто , тощо.$n$$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

Я хотів би оцінити за допомогою оцінок, що знаходяться під рукою. Очевидно, що наївний оцінювач зміщений нижче, ніж $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

Припустимо, у мене також є матриця коваріації відповідних оцінювачів . Чи можливо отримати неупереджену (або менш упереджену) оцінку мінімуму, використовуючи дані оцінки та матрицю коваріації?$\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

Я не маю однозначної відповіді щодо існування об'єктивного оцінювача. Однак, з точки зору помилки оцінки, оцінка взагалі є непростою проблемою.$\min(\mu_1, \dots, \mu_n)$

Наприклад, нехай , і . Нехай є цільовою кількістю, а - оцінка . Якщо ми використовуємо "наївний" оцінювач де , то помилка оцінки є верхньою межею до постійної. (Зверніть увагу, що похибка оцінки для кожного є ). Звичайно, якщо$Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$$\frac{\sigma^2}{N}$$\mu_i$'є далеко один від одного і дуже мала, похибка оцінки повинна бути зведена до . Однак, у гіршому випадку, немає оцінки працює краще, ніж наївний оцінювач. Ви можете точно показати, що де infimum переймає всі можливі оцінки на основі вибірки а приймає всю можливу конфігурацію .$\sigma$$\frac{\sigma^2}{N}$$\theta$ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

Тому наївний оцінювач є мінімальним оптимальним до постійного, і кращої оцінки в цьому сенсі немає.$\theta$

EDIT: Наступні відповіді на інше питання, ніж те, що було задано - воно оформлено так, ніби вважається випадковим, але не працює, коли вважається фіксованим, що, мабуть, було на увазі ОП. Якщо виправлено, у мене немає кращої відповіді, ніж$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

Якщо ми розглядаємо лише оцінки середнього значення та коваріації, ми можемо розглядати як єдиний зразок із багатоваріантного нормального розподілу. Простий спосіб отримати мінімальну оцінку - це потім набрати велику кількість зразків з , обчислити мінімум кожного зразка, а потім взяти середнє значення цих мінімумів.$(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

Описану вище процедуру та її обмеження можна зрозуміти в байесівських термінах - взяття позначень із Вікіпедії на MVN , якщо є відомою коваріацією оцінювачів і у нас є одне спостереження, спільний задній розподіл є де і виникають з попереднього місця, де перед спостереженням будь-яких даних ми беремо попередній ). Оскільки ви, ймовірно, не бажаєте ставити пріори на , ми можемо прийняти обмеження як , в результаті чого передній стає рівним, а задній стає$\Sigma$$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$. Однак, враховуючи плоскість до цього, ми неявно робимо припущення, що елементи сильно різняться (якщо всі дійсні числа однаково ймовірні, отримання подібних значень малоймовірне).$\mu$

А швидке моделювання показує , що оцінка цієї процедури дещо завищеною , коли елементи відрізняються багато і недооцінює , коли елементи подібні. Можна стверджувати, що без будь-якого попереднього знання це правильна поведінка. Якщо ви бажаєте вказати хоча б деяку попередню інформацію (наприклад, ), результати можуть трохи поводитися для вашого випадку використання.$min(\mu)$$\mu$$min(\mu)$$m = 0.1$

Якщо ви готові взяти на себе більшу структуру, можливо, ви зможете вибрати кращий розподіл, ніж звичайний багатоваріантний. Також може мати сенс використовувати Стен або інший пробовідбірник MCMC, щоб відповідати оцінкам в першу чергу. Ви отримаєте набір зразків які відображають невизначеність у самих оцінниках, включаючи їх структуру коваріації (можливо, багатшу, ніж може надати MVN). Ще раз ви можете обчислити мінімум для кожного зразка, щоб отримати задній розподіл за мінімумами, і взяти середнє значення цього розподілу, якщо вам потрібна бальна оцінка.$\mu$$(\mu_1, ..., \mu_n)$