Чи є середня вибірка «найкращою» оцінкою середнього розподілу в якомусь сенсі?

За (слабким / сильним) законом великих чисел, з огляду на деякі iid-вибіркові точки розподілу, їх вибірка означає сходиться до середнього значення розподілу як вірогідно, так і як розмір вибірки іде до нескінченності. $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

Коли розмір вибірки фіксований, мені цікаво, чи оцінювач LLN є оптимізатором, найкращим в якомусь сенсі? Наприклад, $N$ $f^*$

його очікування є середнім показником розподілу, тому це неупереджений оцінювач. Її дисперсія - де - дисперсія розподілу. Але це УМВУ? $\frac{\sigma^2}{N}$ $\sigma^2$
чи є якась функція така, що розв’яжіть задачу мінімізації: $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
Іншими словами, $f^*$ є найкращою функцією контрасту $l_0$ у мінімальній контрастній функції (див. Розділ 2.1 «Основні евристики оцінки» в « Математична статистика: основні ідеї та вибрані теми, Том 1 » Бікл та Доксум).

Наприклад, якщо відомий / обмежений розподіл із сімейства гауссових розподілів, то середнє значення вибірки буде оцінкою MLE середнього розподілу, а MLE належить до мінімальної рамки контрасту, а його контрастна функція $l_0$ - мінус вірогідність журналу функція.
чи є якась функція така, що вирішує задачу мінімізації: для будь-якого розподілу з в межах деякого сімейства розподілів? $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
Іншими словами, є найкращим wrt деякою втраченою функцією та деякою сімейкою розподілів у теоретичній рамці прийняття рішень (див. Розділ 1.3 "Теоретичні рамки прийняття рішень" у " Математичній статистиці: основні ідеї та вибрані теми, Том 1 " by Бікл та Доксум). $f^*$ $l$ $F$

Зауважте, що вище - це три різні інтерпретації для "найкращої" оцінки, яку я знав дотепер. Якщо ви знаєте про інші можливі тлумачення, які можуть застосовуватися до оцінювача LLN, будь ласка, не соромтесь також згадати це.

estimation expected-value law-of-large-numbers

— Тім
джерело

Інший спосіб охарактеризувати оцінювач: Будь ласка , прочитайте про Consistent оцінювач тут . Зразок середньої вибірки відповідає LLN.

— Rohit Banga

Вибірка означає, що має багато приємних та цікавих властивостей, але іноді вони не є найкращими, що можна мати у конкретній ситуації. Одним із прикладів є випадки, коли підтримка розподілу залежить від значення параметра. Розглянемо , тоді є неупередженим оцінювачем середнє значення розподілу але це не UMVUE, наприклад, неупереджені оцінки на основі статистики найбільшого порядку матимуть меншу дисперсію, ніж середня вибірка.

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

— VitalStatistix

Дякую! Але як обчислюється його дисперсія?

— Тім

Pdf , найбільша статистика порядку подається через , тому дисперсія неупередженого оцінювача буде, , тобто дисперсія має порядок порівняно з дисперсією середньої вибірки, яка є порядку .

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

— VitalStatistix

@VitalStatistix, я тут зовсім чогось пропускаю? Якщо змінні однакові на середнє значення вибірки має очікування , тож чи не хочете ви помножити на 2, щоб отримати неупереджений оцінювач ?

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

— NRH

Відповідь на ваше друге питання - так: середня вибірка - це оцінка мінімального контрасту, коли ваша функція дорівнює , коли x і u - дійсні числа, або , коли x і u - стовпчикові вектори. Це випливає з теорії найменших квадратів або диференціального числення. $l_0$ $(x-u)^2$ $(x-u)'(x-u)$

Оцінювач мінімальної контрастності за певних технічних умов одночасно і послідовно, і асимптотично. Для середнього зразка це вже випливає з LLN та центральної граничної теореми. Я не знаю, що мінімальні оцінки контрасту є "оптимальними" в будь-якому випадку. Що приємних оцінювачів мінімальної контрастності є те, що багато надійних оцінювачів (наприклад, медіани, оцінки Губера, вибіркові квантилі) потрапляють до цього сімейства, і ми можемо зробити висновок, що вони послідовні та асимптотично нормальні лише застосовуючи загальну теорему для оцінювачів мінімальної контрастності, так поки ми перевіряємо деякі технічні умови (хоча часто це набагато складніше, ніж це звучить).

Одне поняття оптимальності, яке ви не згадуєте у своєму питанні, - це ефективність, яка, грубо кажучи, стосується того, наскільки великий зразок вам потрібен, щоб отримати оцінку певної якості. Див. Http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_ectivity для порівняння ефективності середнього та медіанного (середнє значення є більш ефективним, але медіана є більш стійкою для людей, що втрачають лих).

По третьому питанню, без обмежень щодо набору функцій f, над якими ви знаходите аргмін, я не думаю, що значення вибірки буде оптимальним. Для будь-якого розподілу P ви можете зафіксувати f як константу, яка ігнорує 'і мінімізує втрати для конкретного P. Середнє значення вибірки не може перемогти це. $x_i$

Оптимальність Minimax є слабшою умовою, ніж та, яку ви даєте: замість того, щоб просити, щоб була найкращою функцією для будь-якого класу, ви можете попросити, щоб мав найкращі показники в гіршому випадку. Тобто між аргміном та очікуванням, поставленим в . Байєсівський оптимальність інший підхід: поставити апріорне розподіл на , і взяти на себе очікування над , а також проби з . $f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
джерело

Дякую! Чи є хороші посилання на властивості оцінювача мінімальної контрастності, такі як послідовний і асимптотично нормальний, а також такі приклади, як медіана, оцінки Губера, квантові вибірки?

— Тім

Розділ 5.2.2 книги, що ви цитуєте Bickel & Doksum, має теорему про узгодженість оцінок мінімальної контрастності. Розділ 5.4.2 обговорює асимптотичну нормальність. Ще одне джерело, яке я рекомендую, і яке обговорює інші оцінки, про які я згадую, - це книга про асимптотику статистики ван дер Ваарта . У главі 5 йдеться про М-оцінки, що є його ім'ям для мінімальних оцінок контрасту.

— DavidR

Дякую! Чи є норма у вашому першому абзаці довільною у чи повинна бути норма?

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

— Тім

Я маю на увазі стандартну евклідову норму - я змінив її на векторну позначення, щоб уточнити.

— DavidR

DavidR, дякую! (1) Що стосується частини 3 мого допису, мені цікаво, чи може середня вибірка, тобто оцінка LLN, вміститися в теоретичну рамку прийняття рішення щодо деякої функції втрат ? (2) У мене складається враження, що всі оцінки, такі як MLE та Least Square Estimator, вписуються в рамки мінімальної контрастності, але не в теоретичну основу рішення. Тож чи теоретичні рамки прийняття рішення не використовуються для побудови оцінювачів, а лише для їх оцінки?

l

$l$

— Тім