Основне питання про матрицю інформації Фішера та відношення до гессіанських та стандартних помилок

54

Гаразд, це досить основне питання, але я трохи розгублений. У своїй дипломній роботі я пишу:

Стандартні помилки можна знайти, обчисливши обернену квадратний корінь діагональних елементів (спостережуваної) матриці Інформації Фішера:

\begin{aligned} s_{\hat{μ}, {\hat{σ}}^{2}} = \frac{1}{\sqrt{I (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$ Оскільки команда оптимізації в R зводить до мінімуму (спостерігається) матриця інформації Фішера можна знайти, обчисливши зворотну частину Гессі:

- \log L

$-\log\mathcal{L}$

\begin{aligned} I (\hat{μ}, {\hat{σ}}^{2}) = H^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

Моє головне питання: чи правильно це те, що я говорю ?

Я трохи розгублений, бо в цьому джерелі на сторінці 7 написано:

Інформаційна матриця - це від’ємник від очікуваного значення матриці Гессі

(Тож ніякої інверсії гессі.)

В той час як у цьому джерелі на сторінці 7 (виноска 5) зазначено:

Спостережена інформація Фішера дорівнює . $(-H)^{-1}$

(Отже, тут зворотне.)

Мені відомо про знак мінус і коли його використовувати, а коли ні, але чому різниця у тому, що приймати зворотну чи ні?

maximum-likelihood fisher-information

— Джен Бохолд
джерело

@COOLSerdash Дякую за ваші виправлення та +1, але це джерело: unc.edu/~monogan/computing/r/MLE_in_R.pdf стор. 7 чітко говорить про те, що спостережувана інформація про Фішера дорівнює ІНВЕРСІЙ Гессі?

— Джен Бохолд

@COOLSerdash Добре, ви можете опублікувати це як відповідь.

— Джен Бохолд

75

Юді Павітан пише у своїй книзі « По всій ймовірності», що другим похідним від імовірності логарифма, оціненим за максимальною оцінкою ймовірності (MLE), є спостережувана інформація про Фішера (див. Також цей документ , стор. 2). Це саме те , що більшість алгоритмів оптимізації , як optimв Rсвою чергу: Гессе оцінюється в ОМП. Коли негативнийймовірність журналу мінімізована, негативний гессіан повертається. Як ви правильно зазначаєте, оцінені стандартні помилки MLE є квадратними коренями діагональних елементів, обернених спостереженою інформаційною матрицею Фішера. Іншими словами: квадратні корені діагональних елементів оберненої гессі (або негативної гессі) є оціночними стандартними помилками.

Підсумок

Негативний гессіан, оцінений у MLE, такий самий, як і спостережена матриця інформації Фішера, оцінена в MLE.
Щодо вашого головного питання: Ні, це невірно, що спостережувану інформацію Фішера можна знайти, перевернувши (негативну) гессі.
Стосовно вашого другого запитання: Зворотний (негативний) Гессіан є оцінкою матриці асимптотичної коваріації. Отже, квадратні корені діагональних елементів коваріаційної матриці є оцінниками стандартних помилок.
Я думаю, що другий документ, на який ви посилаєтесь, помилився.

Формально

Нехай - функція вірогідності журналу. Фішер інформаційної матриці є симетричною матрицею , що містить записи: спостерігалася інформаційна матриця Фішера просто , інформаційна матриця оцінюється за максимальною оцінкою ймовірності (MLE). Гессіан визначається як: $l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

I (θ) = - \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

H (θ) = \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$ Це не що інше, як матриця других похідних імовірнісної функції щодо параметрів. Звідси випливає, що якщо мінімізувати негативну ймовірність журналу, повернутий гессіан є еквівалентом спостережуваної інформаційної матриці Фішера, тоді як у випадку, коли ви максимізуєте ймовірність журналу, то негативна гессіана є спостережуваною інформаційною матрицею.

Далі, обернена інформаційна матриця Фішера є оцінкою асимптотичної матриці коваріації: Стандартними помилками є квадратні корені діагональних елементів матриці коваріації. Для асимптотичного розподілу максимальної оцінки ймовірності ми можемо записати де позначає справжнє значення параметра. Отже, розрахункова стандартна похибка максимальних оцінок ймовірності задається:

V a r ({\hat{θ}}_{M L}) = [I ({\hat{θ}}_{M L})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{M L} \overset{a}{\sim} N (θ_{0}, [I ({\hat{θ}}_{M L})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

S E ({\hat{θ}}_{M L}) = \frac{1}{\sqrt{I ({\hat{θ}}_{M L})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— COOLSerdash
джерело

1

слід сказати "коли негативна ймовірність журналу мінімізована " (або оптимізована ).

— cmo

8

Інформація Фішера (очікувана) - ; інформація, що спостерігається (Фішер), - це просто , тому її називають не тому, що вона оцінюється за максимальною оцінкою ймовірності , а тому, що це функція спостережуваних даних, а не середня серед можливих спостережень. Це, мабуть, затьмарене знайомими прикладами 'з урахуванням висновку про канонічний параметр у повній експоненціальній родині, коли .

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— Scortchi

6

Оцінка ймовірних функцій тягне за собою двоступеневий процес.

По-перше, декларується функція вірогідності журналу. тоді оптимізуються функції вірогідності журналу. Це добре.

Записуючи функції вірогідності журналу в R, ми просимо (де являє функцію вірогідності журналу), оскільки команда optim в R мінімізує функцію за замовчуванням. мінімізація -l - це те саме, що максимізація l, чого ми хочемо. $-1*l$ $l$

Тепер спостережувана інформаційна матриця Фішера дорівнює . Причина того, що нам не доводиться помножувати хассіану на -1, полягає в тому, що все оцінювання було зроблено в -1-кратній вірогідності журналу. Це означає, що гессіан, який виробляється оптимом, вже множиться на -1 $(-H)^-1$

— Аделіно Мартінс
джерело