Взаємозв'язок матриці Гессіана та матриці коваріації

Поки я вивчаю оцінку максимальної ймовірності, щоб зробити висновок про максимальну оцінку ймовірності, нам потрібно знати дисперсію. Щоб дізнатись дисперсію, мені потрібно знати нижню межу Рао Крамера, яка на кривині виглядає як матриця Гессея з другою деривацією. Я наче змішаний, щоб визначити взаємозв'язок між матрицею коваріації та матрицею гессіана. Сподіваюся почути деякі пояснення щодо питання. Простий приклад буде вдячний.

— user122358
джерело

Спершу слід ознайомитись з цим Основним питанням про матрицю інформації Фішера та відношення до гессіанських та стандартних помилок

Припустимо, у нас є статистична модель (сімейство розподілів) $\{f_{\theta}: \theta \in \Theta\}$ . У найбільш загальному випадку, який ми маємо $dim(\Theta) = d$ , тож ця сім'я параметризована $\theta = (\theta_1, \dots, \theta_d)^T$ . За певних умов регулярності ми маємо

Я_{i, j} (θ) = - Е_{θ} [\frac{\partial^{2} л (Х; θ)}{\partial θ_{i} \partial θ_{j}}] = - Е_{θ} [Н_{i, j} (л (Х; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

де $I_{i,j}$ є матрицею інформації Фішера (як функція $\theta$ ) і $X$ - спостережуване значення (зразок)

л (Х; θ) = л н (f_{θ} (Х)), для деяких θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

Отже, матриця інформації Фішера - це заперечуване очікуване значення Гесіана логотипної ймовірності під деякими $\theta$

Тепер скажімо, що ми хочемо оцінити деяку векторну функцію невідомого параметра $\psi(\theta)$ . Зазвичай бажано, щоб оцінювач $T(X) = (T_1(X), \dots, T_d(X))$ повинні бути неупередженими, тобто

\forall_{θ \in Θ} Е_{θ} [Т (Х)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

Крамер Рао Нижній Межі стверджує, що для кожного неупереджений $T(X)$ то $cov_{\theta}(T(X))$ задовольняє

c о v_{θ} (Т (Х)) \geq \frac{\partial ψ (θ)}{\partial θ} Я^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{Т} = Б (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

де $A \ge B$ для матриць означає, що $A - B$ є позитивним напіввизначеним , $\frac{\partial\psi(\theta)}{\partial\theta}$ просто якобійський $J_{i,j}(\psi)$ . Зауважте, якщо ми оцінимо $\theta$ , це є $\psi(\theta) = \theta$ , вище спрощено до

c о v_{θ} (Т (Х)) \geq Я^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Але що це нам насправді говорить? Наприклад, пригадайте це

v а r_{θ} (Т_{i} (Х)) = [c о v_{θ} (Т (Х))]_{i, i}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

і що для кожної позитивної напіввизначеної матриці $A$ елементи діагоналі - негативні

\forall_{i} А_{i, i} \geq 0

$\forall_i\ A_{i,i} \ge 0$

Зверху можна зробити висновок, що дисперсія кожного оцінюваного елемента обмежена діагональними елементами матриці $B(\theta)$

\forall_{i} v а r_{θ} (Т_{i} (Х)) \geq [Б (θ)]_{i, i}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

Таким чином, CRLB не повідомляє нам про дисперсію нашого оцінювача, але коли наш чи ні наш оцінювач є оптимальним , тобто якщо він має найнижчу коваріацію серед усіх неупереджених оцінювачів.

— Лукаш-Град
джерело

Я ціную ваше пояснення тут. Я насправді не людина з математики, але я заважаю серйозно вивчати математику. Однак вона все ще виглядає занадто абстрактно для мене. Я сподіваюся, що є якийсь ніжний приклад з простими цифрами, який точно зрозуміє це.

— користувач122358