Як зрозуміти, що MLE Variance є упередженим у розподілі Гаусса?

Я читаю PRML, і картину не розумію. Скажіть, будь ласка, кілька підказок, щоб зрозуміти картину, і чому MLE дисперсії в гауссовій розподілі упереджений?

формула 1,55: формула 1.56

$$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$$ $$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$$

Інтуїція

Упередженість "походить від" (це зовсім не технічний термін) того, що є упередженим для . Природне питання полягає в тому, "ну яка інтуїція, чому є упередженою для "? Інтуїція полягає в тому, що в зразку, що не має квадрата, іноді ми пропускаємо справжнє значення оцінкою, а іноді занижньою оцінкою. Але, не квадратизуючи, схильність до переоцінки та недооцінки скасує одне одного. Однак, коли ми квадратно схильність до недооцінки (пропускаємо справжнє значення$E[\bar{x}^2]$$\mu^2$$E[\bar{x}^2]$$\mu^2$$\mu$$\bar{x}$$\mu$за від’ємним числом) також стає квадратним і, таким чином, стає додатним. Таким чином, він більше не скасовується і є незначна тенденція до завищення вартості.

Якщо інтуїція позаду , чому зміщена для до сих пір неясно, спробувати зрозуміти інтуїцію за нерівності Йєнсена (гарне інтуїтивне пояснення тут ) і застосувати його до .$x^2$$\mu^2$$E[x^2]$

Доведемо, що дисперсія MLE для вибірки iid є упередженою. Тоді ми аналітично перевіримо свою інтуїцію.

Доказ

Нехай .$\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

Ми хочемо показати .$E[\hat{\sigma}^2] \neq \sigma^2$

$$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$$

Використовуючи той факт, що і ,$\sum_{n = 1}^N x_n = N\bar{x}$$\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

$$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$$

З останнього кроку, що слідує за тим, що через те, що рівний поперечно через те, що виходить з одного і того ж розподілу.$E[x_n^2]$$n$

Тепер пригадайте визначення дисперсії, яке говорить . Звідси ми отримуємо наступне$\sigma^2_x = E[x^2] - E[x]^2$

$$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$$

Зауважте, що ми підкреслили константу під час виведення її з . Зверніть на це особливу увагу!$\frac{1}{N}$$Var()$

$$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$$

що, звичайно, не дорівнює .$\sigma_x^2$

Аналітично перевірте нашу інтуїцію

Ми можемо дещо перевірити інтуїцію, припустивши, що ми знаємо значення і підключивши її до вищенаведеного доказу. Оскільки ми тепер знаємо , у нас більше немає необхідності оцінювати і тому ми ніколи не переоцінюємо його за допомогою . Подивимось, що це "видаляє" зміщення у .$\mu$$\mu$$\mu^2$$E[\bar{x}^2]$$\hat{\sigma}^2$

Нехай .$\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

З наведеного вище доказування виберемо з замінивши на справжнє значення .$E[x_n^2] - E[\bar{x}^2]$$\bar{x}$$\mu$

$$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$$

яка неупереджена!