Чому саме використовується спостережена інформація Фішера?

У стандартному налаштуваннях максимальної вірогідності (iid зразок з деякого розподілу з щільністю )) і у випадку коректно вказаної моделі Фішер інформацію надає f y ( y | θ $Y_{1}, \ldots, Y_{n}$$f_{y}(y|\theta_{0}$

$$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$$

де очікування приймається щодо справжньої щільності, яка генерувала дані. Я читав, що спостерігається інформація Фішера

$$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$$

використовується первинним, оскільки інтеграл, який бере участь у обчисленні (очікуваної) інформації про Фішера, в деяких випадках може бути неможливим. Мене бентежить те, що навіть якщо інтеграл виконаний, очікування потрібно сприймати щодо справжньої моделі, яка включає невідоме значення параметра . Якщо це так , то виявляється , що , не знаючи \ theta_ {0} неможливо обчислити I . Це правда? θ 0$\theta_{0}$$\theta_{0}$$I$

Тут у вас чотири кванти: справжній параметр $\theta_0$ , послідовна оцінка $\hat \theta$ , очікувана інформація $I(\theta)$ в $\theta$ та спостережувана інформація $J(\theta)$ в $\theta$ . Ці кількості є еквівалентними лише асимптотично, але, як правило, вони використовуються.

1. Інформація, що спостерігається

   $$J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$$ ймовірно переходить до очікуваної інформації I (\ theta_0) = E _ {\ theta_0} \ зліва [\ frac {\ част ^ 2} {\ част \ \ theta_0 ^ 2} \ ln f (y | \ theta_0) \ право] $$I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$$ коли $Y$ - зразок iid з f (\ theta_0)$f(\theta_0)$ . Тут $E_{\theta_0} (x)$ вказує на очікування w / r / t розподілу, індексованого $\theta_0$ : $\int x f(x | \theta_0) dx$ . Це зближення справедливо через закон великих чисел, тому припущення, що $Y \sim f(\theta_0)$ тут є вирішальним.

2. Коли у вас є оцінка яка вірогідно збігається з істинним параметром (тобто є послідовною), ви можете замінити її в будь-якому місці, де ви бачите вище, по суті завдяки теоремі безперервного відображення , і всі конвергенції продовжують утримуватися.$\hat \theta$$\theta_0$$\theta_0$$^*$

$^*$ Насправді це здається трохи тонким .

Зауваження

Як ви думали, із спостережуваною інформацією, як правило, простіше працювати, оскільки диференціація легша за інтеграцію, і ви, можливо, вже оцінили її під час чисельної оптимізації. За деяких обставин (Нормальний розподіл) вони будуть однаковими.

У статті «Оцінка точності максимального вірогідного оцінювача: спостережувана порівняно з очікуваною інформацією про рибалки» Ефрона та Хінклі (1978) викладено аргумент на користь спостережуваної інформації для кінцевих зразків.

Було проведено декілька симуляційних досліджень, які підтверджують теоретичні спостереження Ефрона та Хінклі (про які згадується у відповіді Ендрю), ось одне, що я знаю напевно: Мальдонадо, Г. та Ґренландія, С. (1994). Порівняння ефективності довірчих інтервалів на основі моделі, коли правильна форма моделі невідома. Епідеміологія, 5, 171-182. Я не бачив жодних досліджень, які б конфліктували. Тоді цікаво, що стандартні пакети GLM, які я знаю, використовують очікувану інформацію для обчислення інтервалів Wald. Звичайно, це не проблема, коли (як і у лінійних глобальних мережах у натуральному параметрі) спостережувані та очікувані інформаційні матриці рівні.