Визначник матриці інформаційної матриці Фішера для надпараметризованої моделі

Розглянемо випадкову змінну Бернуллі з параметром (ймовірність успіху). Функція ймовірності та інформація Фішера ( матриця ): $X\in\{0,1\}$ $\theta$ $1 \times 1$

\begin{aligned} L_{1} (θ; Х) & = p (Х | θ) = θ^{Х} (1 - θ)^{1 - Х} \\ Я_{1} (θ) & = det Я_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

Тепер розглянемо " " версію з двома параметрами: ймовірність успіху $\theta_1$ та ймовірність відмови $\theta_0$ . (Зверніть увагу, що $\theta_1+\theta_0=1$ , і це обмеження означає, що один із параметрів є зайвим.) У цьому випадку функцією ймовірності та інформаційною матрицею Фішера (FIM) є:

\begin{aligned} L_{2} (θ_{1}, θ_{0}; Х) & = p (Х | θ_{1}, θ_{0}) = θ_{1}^{Х} θ_{0}^{1 - Х} \\ Я_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det Я_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

Зауважте, що детермінанти цих двох FIM є однаковими. Крім того, ця властивість поширюється на більш загальний випадок категоричних моделей (тобто більше двох станів). Здається, він також поширюється на лінійні журнали моделі з різними підмножинами параметрів, обмежених нулем; у цьому випадку додатковий "надлишковий" параметр відповідає функції розділення журналу, і еквівалентність двох визначників FIM може бути показана на основі доповнення Шура до більшого FIM. (Насправді, для лінійних лінійних моделей менший FIM - лише доповнення Шура до більшого FIM.)

Чи може хтось пояснити, чи поширюється ця властивість на більший набір параметричних моделей (наприклад, на всі експоненціальні сімейства), дозволяючи вивести детермінанти FIM на основі такого "розширеного" набору параметрів? Тобто припустимо будь-яку задану статистичну модель з параметрами, які лежать на -вимірному багатообразові, вбудованому в -вимірний простір. Тепер, якщо ми розширимо набір параметрів, щоб включити ще один вимір (який повністю обмежений на основі інших) і обчислити параметри, засновані на FIM , ми завжди отримаємо той самий детермінант, що і на основі оригіналу (незалежних) параметрів? Крім того, як пов’язані ці два FIM? $n$ $n$ $(n+1)$ $(n+1)$ $n$

Причиною, що я задаю це питання, є те, що FIM з додатковим параметром часто видається простішим. Моя перша думка полягає в тому, що це взагалі не повинно працювати. FIM включає обчислення часткових похідних вірогідності журналу wrt кожного параметра. Ці часткові похідні припускають, що в той час, коли параметр, про який йде мова, змінюється, всі інші параметри залишаються постійними, що не відповідає дійсності, коли ми включаємо додатковий (обмежений) параметр. У цьому випадку мені здається, що часткові похідні більше не діють, оскільки ми не можемо вважати, що інші параметри є постійними; однак я ще не знайшов доказів, що це насправді проблема. (Якщо часткові похідні є проблематичними у випадках із залежними параметрами, це загальні похідні $(n+1) \times (n+1)$ потрібен замість цього? Я ще не бачив приклад обчислення FIM сумарними похідними, але, можливо, це рішення ...)

Єдиний приклад, який я міг знайти в Інтернеті, який обчислює FIM на основі такого "розширеного" набору параметрів, є наступним: ці примітки містять приклад категоричного розподілу, обчислюючи необхідні часткові похідні, як зазвичай (наприклад, як би кожен параметр не є незалежним , навіть якщо серед параметрів існує обмеження).

— Тайлер Стрітер
джерело

Хороше питання! Я думаю, що двопараметрична специфікація випадкової величини Бернуллі є досить невдалим прикладом, тому що без обмеження, більше не буде щільністю. Чи можете ви відтворити спостереження, наприклад, для вигнутої експоненціальної родини?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— Хашаа

@Khashaa Я припускаю, що обмеження застосовується у двопараметричному випадку (той, який ви згадали), тому функція ймовірності все одно буде дійсною щільністю. Також так, я можу відтворити це спостереження, наприклад, для лінійних лінійних моделей з різними підмножинами параметрів, обмежених нулем; у цьому випадку параметр "резервного" відповідає функції розділу журналу.

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— Тайлер Стрітер

Як щодо ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— Хашаа

Відповіді:

Для звичайного інформаційна матриця Для криволінійних нормальнихОтже, ваше зауваження, що визначальні рівні рівні, не є універсальними, але це не вся історія. $X\sim N(\mu,\sigma^2)$

Я_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

Я_{2} = \frac{3}{{мк}^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

Як правило, якщо є інформаційною матрицею під репараметризацією то не важко побачити це інформаційна матриця для вихідних параметрів - де - якобіан перетворення . $\mathcal{I}_g$

г (θ) = (г_{1} (θ), . . ., г_{к} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

Я (θ) = Г^{'} Я_{г} (г (θ)) Г

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

Для прикладу Бернуллі і . Отже, якобіан є і, таким чином, $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

Я (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

Для зігнутого звичайного прикладу

Я_{2} = (\begin{matrix} 1 & 2 мк \end{matrix}) (\begin{matrix} \frac{1}{{мк}^{2}} & 0 \\ 0 & \frac{1}{2 {мк}^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 мк \end{matrix}) = \frac{3}{{мк}^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

Я думаю, тепер ви можете легко співвіднести детермінанти.

Слідкуйте за коментарем

Якщо я вас правильно зрозумів, FIM діє до тих пір, поки ви змістовно розширите параметри: ймовірність нової параметризації повинна бути дійсною щільністю. Отже, я назвав приклад Бернуллі нещасливим.

Я думаю, що надане вами посилання має серйозний недолік у виведенні FIM для категоричних змінних, оскільки у нас є та . Очікування негативного Гессіана дає , але не для коваріації балів векторів. Якщо знехтувати обмеженнями, рівність інформаційної матриці не виконується. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— Хашаа
джерело

Дякуємо, що згадали про підхід до перетворення якобійців та прості, зрозумілі приклади. Чи можете ви (чи хтось інший) прокоментувати таке питання, яке мене все ще хвилює: коли ми розширюємо набір параметрів на один вимір, як це ми робимо тут, ми вводимо обмеження серед параметрів, таких як будь-які часткові похідні (як того вимагає FIM) повинен бути недійсним, оскільки зараз, коли ми змінюємо один параметр, інші більше не є постійними. Тож чи FIM дійсний навіть для розширеного набору параметрів, враховуючи, що часткові похідні є недійсними через додаткове обмеження?

— Тайлер Стрітер

@TylerStreeter Я оновив свою відповідь, щоб вирішити вашу проблему.

— Хашаа

Здається, що результат справедливий для певного виду співвідношення між параметрами.

Не претендуючи на повну спільність для наведених нижче результатів, я дотримуюся справи "один-два параметри". Позначимо $g(\theta_0,\theta_1) =0$ неявне рівняння, яке виражає взаємозв'язок, який повинен утримуватися між двома параметрами. Тоді "правильне розширене", "двопараметричне" ймовірність журналу (не те, що обчислює ОП - ми приїдемо туди)

L^{е} = L^{*} (θ_{0}, θ_{1}) + λ г (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ рівнозначна справжній ймовірності

L

$L$ , оскільки

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$ , (

λ

$\lambda$ є множником), і ми можемо розглядати два параметри як незалежні, тоді як ми розрізняємо.

Використовуючи підписники для позначення похідних щодо параметрів (один похідний індекс індексу, два похідні другого індексу), визначником Гессіана правильної розширеної ймовірності журналу буде

\begin{matrix} (1) & D_{Н} (L^{е}) = [L_{00}^{*} + λ г_{00}] [L_{11}^{*} + λ г_{11}] - [L_{01}^{*} + λ г_{01}]^{2} = D_{Н} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

Що замість цього робить ОП?

Він вважає неправильною ймовірність $L^*(\theta_0,\theta_1)$ "ігнорування" співвідношення між двома параметрами та без урахування обмежень $g(\theta_0,\theta_1)$ . Потім він проходить з диференціацією і отримує

\begin{matrix} (2) & D_{Н} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

Видно, що $(2)$ взагалі не дорівнює $(1)$ .

Але якщо $g_{00}=g_{11}=g_{00}=0$ , тоді

(1) \to D_{Н} (L^{е}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{Н} (L^{*}) = D_{Н} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

Отже, якщо співвідношення між фактичним параметром і надлишковим параметром є таким, що другі часткові похідні неявної функції, що їх пов'язує, дорівнюють нулю , то в принципі неправильний підхід закінчується "правильним".

Що стосується справи Бернуллі, то насправді є

г (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow г_{00} = г_{11} = г_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

ДОПОВНЕННЯ
Щоб відповісти на питання @Khashaa і показати механіку тут ми розглянемо вірогідність зазначеної дублюючим параметра, але при обмеженні , що посилання надлишкового параметра з істинним. Те, що ми робимо з імовірностями журналів, - це їх максимальне збільшення, тому тут ми маємо випадок обмеженої максимізації. Припустимо зразок розміру $n$ ,:

макс L_{н}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{н} х_{i} + (н - \sum_{i = 1}^{н} х_{i}) \ln θ_{1}, с . т . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

У цій проблемі є лангренгеєць (що я неофіційно я назвав "правильною розширеною ймовірністю"),

L^{е} = \ln θ_{0} \sum_{i = 1}^{н} х_{i} + (н - \sum_{i = 1}^{н} х_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

Умови першого порядку для максимуму такі

\frac{\sum_{i = 1}^{н} х_{i}}{θ_{0}} + λ = 0, \frac{н - \sum_{i = 1}^{н} х_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

для якого ми отримуємо відношення

\frac{\sum_{i = 1}^{н} х_{i}}{θ_{0}} = \frac{н - \sum_{i = 1}^{н} х_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{н} х_{i} = (н - \sum_{i = 1}^{н} х_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

використовуючи обмеження, згідно з якими вищезазначені дійсні, $\theta_1 = 1-\theta_0$ ми отримуємо

(1 - θ_{0}) \sum_{i = 1}^{н} х_{i} = (н - \sum_{i = 1}^{н} х_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{н} х_{i} = н θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{н} \sum_{i = 1}^{н} х_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

як слід.

Більше того, оскільки обмеження лінійне у всіх параметрах, його другі похідні будуть дорівнювати нулю. Це відображається в тому, що в первинних похідних лагранжа, мультиплікатора $\lambda$ "стоїть на самоті", і це буде ліквідовано, коли ми візьмемо другі похідні лагранжа. Що в свою чергу призведе нас до гессіана, детермінант якого буде дорівнювати (одновимірній) другій похідній оригінальній ймовірності однопараметричного журналу, після накладення також обмеження (що і робить ОП). Тоді прийняття від’ємника очікуваного значення в обох випадках не змінює цю математичну еквівалентність, і ми приходимо до відношення «одновимірна інформація про Фішера = детермінант двовимірної інформації про Фішера». Зараз дано що обмеження є лінійним у всіх параметрах, ОП отримує той самий результат (на рівні другого похідного), не вводячи обмеження з множником у функцію, що має бути максимальною, тому що на другому рівні похідної наявність / ефект обмеження зникає в такому випадку.

Все це стосується числення, а не статистичних понять.

— Алекос Пападопулос
джерело

Я, здається, не можу слідувати вашій логіці. Чи можете ви поясніть, чому подібний до Лагранжа?

L^{e}

$L^e$ вважається "правильним розширеним", "двопараметричним" імовірністю журналу? Також гессіян для мене абсолютно загадковий. Чи обчислюєте ви спостережувану матрицю інформації?

— Хашаа

@Khashaa Встановлена термінологія, що "Гессіан" є матрицею інших похідних багатовимірної функції.

— Алекос Пападопулос

Було б корисно, якби нинішні люди, що опублікували тут, опублікували відповідь - адже конкретний приклад ОП існує - і вимагає пояснення.

— Алекос Пападопулос

Вибачте, якщо моє запитання було незрозумілим. Моє запитання стосувалося того, як ви пов’язали Гессіана з інформаційною матрицею, оскільки я не бачив жодних очікувань, що діють на ньому, і результат здався спостережуваною інформаційною матрицею. Крім того, чи можете ви пояснити, чому

L^{e}

$L^e$ чи правильна логічність? Я думаю, ви використовуєте якийсь принциповий метод оцінки обмеженої ймовірності, але я не розумію, як це працює.

— Хашаа

@Khashaa Я додав експозицію, використовуючи приклад ОП.

— Алекос Пападопулос