Що розуміється під стандартною помилкою максимальної оцінки ймовірності?

Я математик, який самостійно вивчає статистику і бореться особливо з мовою.

У книзі, яку я використовую, є така проблема:

Випадкова величина $X$ задається як $\text{Pareto}(\alpha,60)$ -розподілений з $\alpha>0$ . (Звичайно, ви можете взяти будь-який розподіл залежно від одного параметра заради цього питання.) Потім дається вибірка з п'яти значень $14$ , $21$ , $6$ , $32$ , $2$ .

Перша частина: «Використання методу максимальної правдоподібності, знайти оцінку ; з ; на основі [зразок].» Це не було проблем. Відповідь . $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

Але тоді: «Дайте оцінку стандартної помилки .» $\hat{\alpha}$

Що мається на увазі під цим? Так як просто фіксоване число, я не бачу, яким чином це може мати стандартну помилку. Можу чи я визначити стандартне відхилення ? $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

Якщо ви вважаєте, що питання не зрозуміле, ця інформація допомогла б і мені.

maximum-likelihood

— Стефан
джерело

Що означає

60

$60$

— Алекос Пападопулос

У вас є формула для

? Це допоможе вам оцінити його стандартну помилку.

\hat{α}

$\hat \alpha$

— soakley

@Glen_b Але якщо це була нижня межа, як могло бути, що всі значення реалізованої вибірки менші?

— Алекос Пападопулос

@Alecos Це прекрасний момент. Мій коментар не має сенсу; Я її видалив.

— Glen_b -Встановіть Моніку

@ Алекос:

- розподіл з щільністю

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— Стефан

Відповіді:

Інша відповідь охоплює виведення стандартної помилки, я просто хочу допомогти вам у позначенні:

Ваша плутанина пов’язана з тим, що в статистиці ми використовуємо точно такий же символ для позначення Оцінювача (який є функцією), а також конкретну оцінку (яка є значенням, яке оцінювач приймає, коли отримує як вхід конкретний реалізований зразок).

Таким чином , і для $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ . Таким чином є функцією випадкових величин і так самої випадкової величини, щобезумовномає дисперсію. $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

За оцінкою ML, у багатьох випадках ми можемо обчислити асимптотичну стандартну помилку, оскільки кінцевий вибірковий розподіл оцінювача не відомий (неможливо отримати).

Строго не має асимптотичну розподіл, так як вона сходиться до дійсного числа (справжнє число майже у всіх випадках оцінки ML). Але кількість $\hat \alpha$ сходиться до нормальної випадкової величини (шляхом застосування центральної граничної теореми). $\sqrt n (\hat \alpha - \alpha)$

Друга точка нотаціонной плутанини : більшість, якщо не всі тексти, писатимуть ( «аварский» = асимптотическую дисперсію ") , а то , що вони мали в виду це $\text {Avar}(\hat \alpha)$ , тобто вони відносяться до асимптотичної дисперсії величини $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ ,НЕ ... Для випадку основного розподілу Парето ми маємо $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

і так

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(Але то , що ви знайдете написане ) $\text {Avar}(\hat \alpha ) = \alpha^2$

Тепер, в якому сенсі оцінювач має «асимптотическую дисперсію», так як сказано, асимптотично сходиться до константи? Ну, у приблизному розумінні та для великих, але кінцевих зразків. Тобто десь посеред "малого" вибірки, де Оцінювач - випадкова величина з (як правило) невідомим розподілом, і "нескінченна" вибірка, де оцінювач є постійною, є ця "велика, але кінцева територія вибірки", де Оцінювач ще не став постійним, і де його розподіл і дисперсія виведено в обхідному напрямку, спочатку використовуючи теорему центрального граничного значення, щоб отримати правильно асимптотичний розподіл величини $\hat \alpha$ (який є нормальним зза CLT), а потім повернути речі навколо і писати $Z = \sqrt n (\hat \alpha - \alpha)$ (при прийомі один крок назад і лікувань , як кінцеві)який показує ; в якості афінної функції нормального випадкової величини , і тому зазвичай себе розподілений (завжди приблизно). $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— Алекос Пападопулос
джерело

+1 для розрізнення між

\hat{α}

$\hat{\alpha}$

- звичайнопозначення може бути несумісними.

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— Нейт-папа

- це оцінка максимальної правдоподібності - це функція випадкової вибірки, і тому також випадковим(не фіксується). Оцінка стандартної помилки ; може бути отримана з інформації Фішера, $\hat{\alpha}$ $\hat{\alpha}$

I (θ) = - E [\frac{\partial^{2} L (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

Де - параметр, а функція вірогідності журналу $\theta$ $\mathcal{L}(\theta|Y = y)$ умовна для випадкової вибірки . Інтуїтивно зрозуміла, що інформація про Фішера вказує на крутість кривизни поверхні вірогідності колоди навколо MLE, і тому кількість «інформації», яку надає приблизно . $\theta$ $y$ $y$ $\theta$

Для розподілу з єдиною реалізацією $\mathrm{Pareto}(\alpha,y_0)$ , ймовірність log, де відома: $Y = y$ $y_0$

Підключення до визначення інформації Фішера,

\begin{aligned} L (α | y, y_{0}) & = \log α + α \log y_{0} - (α + 1) \log y \\ L^{'} (α | y, y_{0}) & = \frac{1}{α} + \log y_{0} - \log y \\ L^{″} (α | y, y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$

Для зразка

максимальної правдоподібності оцінки

асимптотично розподілені

I (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

де

- розмір вибірки. Оскільки

невідомо, можна підключити

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$

n

$n$

α

$\alpha$

щоб отримати оцінку стандартної помилки:

\hat{α}

$\hat{\alpha}$

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4.6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— Нейт Папа
джерело

Для вашого другого до останньої

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$

n \to \infty

$n \to \infty$

n

$n$

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$