Що це за інформація про Фішера?

Припустимо, у нас є випадкова величина . Якщо були істинним параметром, функцію вірогідності слід максимізувати, а похідну дорівнює нулю. Це основний принцип, що стоїть за оцінкою максимальної ймовірності. $X \sim f(x|\theta)$ $\theta_0$

Як я розумію, інформація про Фішера визначається як

I (θ) = E [{(\frac{\partial}{\partial θ} f (X | θ))}^{2}]

$I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ]$

Таким чином, якщо - істинний параметр, . Але якщо це не є істинним параметром, тоді у нас буде більша кількість інформації про Фішера. $\theta_0$ $I(\theta) = 0$ $\theta_0$

мої запитання

Чи вимірює інформація про Фішера "помилку" даного MLE? Іншими словами, чи не існування позитивної інформації про Фішера означає, що мій MLE не може бути ідеальним?
Чим це визначення поняття "інформація" відрізняється від того, яке використовував Шеннон? Чому ми називаємо це інформацією?

— Стен Шунпік
джерело

Чому ви пишете це ? Очікування перевищує значення розподілених так, ніби вони прийшли з вашого розподілу з параметром .

E_{θ}

$E_\theta$

X

$X$

θ

$\theta$

— Ніл G

Також не дорівнює нулю при істинному параметрі.

I (θ)

$I(\theta)$

— Ніл Г

E (S) дорівнює нулю (тобто: очікування функції рахунку), але, як писав Ніл G - інформація про рибалки (V (S)) не є (як правило) нулем.

— Тал Галілі

Відповіді:

Намагаючись доповнити інші відповіді ... Яка інформація - це інформація Фішера? Почніть з функції loglikelilie як функція для , простір параметрів. Припускаючи деякі умови регулярності, які ми тут не обговорюємо, у нас є (ми будемо писати похідні щодо параметра як крапки як тут). Дисперсія - інформація про Фішера

ℓ (θ) = \log f (x; θ)

$\ell (\theta) = \log f(x;\theta)$

θ

$\theta$

θ \in Θ

$\theta \in \Theta$

E \frac{\partial}{\partial θ} ℓ (θ) = E_{θ} \dot{ℓ} (θ) = 0

$\DeclareMathOperator{\E}{\mathbb{E}} \E \frac{\partial}{\partial \theta} \ell (\theta) = \E_\theta \dot{\ell}(\theta) = 0$

I (θ) = E_{θ} (\dot{ℓ} (θ))^{2} = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = \E_\theta ( \dot{\ell}(\theta) )^2= -\E_\theta \ddot{\ell}(\theta)$ остання формула, що показує, що це (негативна) кривизна функції логопедичності. Часто знаходять оцінку максимальної ймовірності (мле) , вирішуючи рівняння ймовірності коли інформація Фішера як дисперсія балу велика, тоді рішення цього рівняння буде дуже чутливим до даних, даючи надію на високу точність молока. Це підтверджено принаймні асимптотично, асимптотична дисперсія молока є зворотною інформацією Фішера.

θ

$\theta$

\dot{ℓ} (θ) = 0

$\dot{\ell}(\theta)=0$

\dot{ℓ} (θ)

$\dot{\ell}(\theta)$

Як ми можемо трактувати це? - вірогідність інформації про параметр з вибірки. Це дійсно може бути інтерпретоване лише у відносному сенсі, як, наприклад, коли ми використовуємо його для порівняння правдоподібностей двох різних можливих значень параметрів через коефіцієнт ймовірності тесту . Швидкість зміни логічності - це оцінка, функція повідомляє нам, як швидко змінюється ймовірність, і на її відмінність наскільки це змінюється від вибірки до вибірки, у заданому парамітрі значення, скажімо . Рівняння (що насправді дивно!) $\ell(\theta)$ $\theta$ $\ell(\theta_0) - \ell(\theta_1)$ $\dot{\ell}(\theta)$ $I(\theta)$ $\theta_0$

I (θ) = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = - \E_\theta \ddot{\ell}(\theta)$ говорить нам про наявність співвідношення (рівності) між інформацією (вірогідністю) для заданого значення параметра та кривизною функції ймовірності для цього значення параметра. Це дивовижна залежність між мінливістю (дисперсією) цієї статистики і очікуваною зміною ймовірності, коли ми будемо змінювати параметр в деякому інтервалі навколо (для тих же даних). Це дійсно і дивно, і дивно, і потужно!

θ_{0}

$\theta_0$

\dot{ℓ} (θ) ∣_{θ = θ_{0}}

$\dot{\ell}(\theta) \mid_{\theta=\theta_0}$

θ

$\theta$

θ_{0}

$\theta_0$

То яка функція ймовірності? Зазвичай ми вважаємо статистичну модель як сімейство розподілів ймовірностей для даних , індексованих параметром деяким елементом у просторі параметрів . Ми вважаємо цю модель істинною, якщо існує якесь значення таким, що дані насправді мають розподіл ймовірності . Таким чином, ми отримуємо статистичну модель шляхом введення справжнього розподілу ймовірностей, що генерує дані, $\{ f(x;\theta), \theta \in \Theta \}$ $x$ $\theta$ $\Theta$ $\theta_0 \in \Theta$ $x$ $f(x;\theta_0)$ $f(x;\theta_0)$ в сім'ї розподілів ймовірностей. Але, зрозуміло, що таке введення можна зробити різними способами, і кожне таке введення буде "справжньою" моделлю, і вони дадуть різні ймовірнісні функції. І без такого вкладення не існує ймовірності функції. Здається, що нам дійсно потрібна допомога, деякі принципи, як розумно вибрати імбіднінг!

Отже, що це означає? Це означає, що вибір функції ймовірності говорить нам, як ми могли б очікувати зміни даних, якби правда трохи змінилася. Але це насправді не може бути підтверджено даними, оскільки дані дають лише інформацію про справжню функцію моделі яка фактично генерувала дані, і нічого не стосується всіх інших елементів обраної моделі. Таким чином ми бачимо, що вибір функції ймовірності схожий з вибором попереднього в байєсівському аналізі, він вводить в аналіз інформацію, що не стосується даних. Давайте розглянемо це на простому (дещо штучному) прикладі та подивимось на ефект вкладення в модель по-різному. $f(x;\theta_0)$ $f(x;\theta_0)$

Припустимо, що є як . Отже, це справжній розподіл даних, що генерує дані. Тепер вбудуємо це у модель двома різними способами, модель A і модель B. ви можете перевірити, чи це збігається для . $X_1, \dotsc, X_n$ $N(\mu=10, \sigma^2=1)$

A : X_{1}, \dots, X_{n} iid N (μ, σ^{2} = 1), μ \in R B : X_{1}, \dots, X_{n} iid N (μ, μ / 10), μ > 0

$A \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \sigma^2=1),\mu \in \mathbb{R} \\ B \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \mu/10), \mu>0$

μ = 10

$\mu=10$

Функції вірогідності логотипу стають

ℓ_{A} (μ) = - \frac{n}{2} \log (2 π) - \frac{1}{2} \sum_{i} (x_{i} - μ)^{2} ℓ_{B} (μ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log (μ / 10) - \frac{10}{2} \sum_{i} \frac{(x_{i} - μ)^{2}}{μ}

$\ell_A(\mu) = -\frac{n}{2} \log (2\pi) -\frac12\sum_i (x_i-\mu)^2 \\ \ell_B(\mu) = -\frac{n}{2} \log (2\pi) - \frac{n}{2}\log(\mu/10) - \frac{10}{2}\sum_i \frac{(x_i-\mu)^2}{\mu}$

Функції оцінки: (похідні loglikelilience): і кривизна Таким чином, інформація про Фішера дійсно залежить від введення. Тепер ми обчислюємо інформацію про Фішера за справжнім значенням , тому інформація про Фішера про параметр дещо більша в моделі B.

{\dot{ℓ}}_{A} (μ) = n (\bar{x} - μ) {\dot{ℓ}}_{B} (μ) = - \frac{n}{2 μ} - \frac{10}{2} \sum_{i} (\frac{x_{i}}{μ})^{2} - 15 n

$\dot{\ell}_A(\mu) = n (\bar{x}-\mu) \\ \dot{\ell}_B(\mu) = -\frac{n}{2\mu}- \frac{10}{2}\sum_i (\frac{x_i}{\mu})^2 - 15 n$

{\ddot{ℓ}}_{A} (μ) = - n {\ddot{ℓ}}_{B} (μ) = \frac{n}{2 μ^{2}} + \frac{10}{2} \sum_{i} \frac{2 x_{i}^{2}}{μ^{3}}

$\ddot{\ell}_A(\mu) = -n \\ \ddot{\ell}_B(\mu) = \frac{n}{2\mu^2} + \frac{10}{2}\sum_i \frac{2 x_i^2}{\mu^3}$

μ = 10

$\mu=10$

I_{A} (μ = 10) = n, I_{B} (μ = 10) = n \cdot (\frac{1}{200} + \frac{2020}{2000}) > n

$I_A(\mu=10) = n, \\ I_B(\mu=10) = n \cdot (\frac1{200}+\frac{2020}{2000}) > n$

Це ілюструє, що в деякому сенсі інформація про Фішера повідомляє нам, як швидко змінилася б інформація з даних про параметр , якби керуючий параметр змінився способом, постульованим введенням в сімейство моделей . Поясненням вищої інформації моделі B є те, що наша модельна сім'я B постулює, що якби очікування зросло, то і дисперсія теж зросла б . Отже, у моделі B дисперсія вибірки також несе інформацію про , що не буде робити в моделі A. $\mu$

Також цей приклад ілюструє, що нам дійсно потрібна певна теорія, яка допоможе нам у побудові модельних сімей.

— kjetil b halvorsen
джерело

чудове пояснення. Чому ти кажеш ? це функція - чи не 0 це лише при оцінці за істинним параметром ?

\E_{θ} \dot{ℓ} (θ) = 0

$\E_\theta \dot{\ell}(\theta) =0$

θ

$\theta$

θ_{0}

$\theta_0$

— ihadanny

Так, те, що ви говорите, є істинним, @idadanny Це нуль, коли оцінюється за значенням істинного параметра.

— kjetil b halvorsen

Ще раз спасибі @kjetil - тож ще одне питання: чи дивовижна залежність між дисперсією балу та кривизною ймовірності правдивою для кожного ? або лише в околиці істинного параметра ?

θ

$\theta$

θ_{0}

$\theta_0$

— ihadanny

Знову ж таки, що трелачінг відповідає дійсному значенню параметра. Але для того, щоб це було дуже корисно, має бути безперервність, так що вона приблизно відповідає дійсності в деякому сусідстві, оскільки ми будемо використовувати її за оцінним значенням , а не лише за справжнього (невідомого) значення.

\hat{θ}

$\hat{\theta}$

— kjetil b halvorsen

Таким чином, відношення справедливо для істинного параметра , воно майже справедливо для оскільки ми припускаємо, що воно знаходиться в сусідстві з , але для загального він не має права, правда?

θ_{0}

$\theta_0$

θ_{m l e}

$\theta_{mle}$

θ_{0}

$\theta_0$

θ_{1}

$\theta_1$

— ihadanny

Давайте поміркуємо з точки зору негативної функції вірогідності лог . Від’ємна оцінка - це її градієнт щодо значення параметра. За істинним параметром оцінка дорівнює нулю. В іншому випадку він дає напрямок до мінімального (або у випадку невипуклої , точки сідла або локального мінімуму чи максимуму). $\ell$ $\ell$ $\ell$

Інформація про Фішера вимірює кривизну навколо якщо дані слідують . Іншими словами, це говорить про те, наскільки змішування параметра вплине на вашу ймовірність журналу. $\ell$ $\theta$ $\theta$

Подумайте, що у вас була велика модель з мільйонами параметрів. А у вас був маленький накопичувач, на якому можна зберігати свою модель. Як слід розставити пріоритети, скільки бітів кожного параметра зберігати? Правильна відповідь - розподілити біти відповідно до інформації Фішера (про це писав Ріссанен). Якщо інформація про параметр Фішера дорівнює нулю, цей параметр не має значення.

Ми називаємо це "інформацією", оскільки інформація Фішера вимірює те, наскільки цей параметр говорить нам про дані.

Розмовний спосіб думати про це: Припустимо, параметри керують автомобілем, а дані на задньому сидінні виправляють водія. Роздратованість даних - це інформація про Фішера. Якщо дані дозволяють водієві керувати, інформація про Фішера дорівнює нулю; якщо дані постійно вносять корективи, вони великі. У цьому сенсі інформація про Фішера - це кількість інформації, що йде від даних до параметрів.

Поміркуйте, що станеться, якщо зробити кермо більш чутливим. Це еквівалентно репараметризації. У такому випадку дані не хочуть бути такими голосними, боячись перевитрати автомобіля. Цей вид репараметризації зменшує інформацію про Фішера.

— Ніл G
джерело

Доповнює гарну відповідь @ NeilG (+1) та вирішує ваші конкретні питання:

Я б сказав, що він враховує "точність", а не саму "помилку".

Пам’ятайте, що гессіанство вірогідності журналу, оцінене за оцінками ML, - це спостережена інформація Фішера. Розрахункові стандартні помилки є квадратними коренями діагональних елементів, обернених спостереженою інформаційною матрицею Фішера. Виходячи з цього, інформація про Фішера є слідом інформаційної матриці Фішера. Враховуючи, що матриця Інформації Фішера є ермітовою матрицею з позитивно-напівдефінітною матрицею, то діагональні записи з неї дійсні та негативні; як прямий наслідок, цей слід повинен бути позитивним. Це означає, що у вас можуть бути лише "неідеальні" оцінки за вашим твердженням. Тож ні, позитивна інформація про Фішера не пов’язана з тим, наскільки ідеальний ваш MLE. $I$ $I_{j,j}$ $tr(I)$

Визначення відрізняється тим, як ми інтерпретуємо поняття інформації в обох випадках. Сказавши це, два виміри тісно пов'язані.

Зворотна інформація Фішера - це мінімальна дисперсія неупередженого оцінювача ( обмежена Крамера-Рао ). У цьому сенсі інформаційна матриця вказує, скільки інформації про оцінені коефіцієнти міститься в даних. Навпаки, ентропія Шеннона була взята з термодинаміки. Він пов'язує інформаційний вміст певного значення змінної як де - ймовірність прийому змінної значення. Обидва є вимірюванням того, наскільки "інформативною" є змінна. У першому випадку ви хоч оцінюєте цю інформацію з точки зору точності, тоді як у другому - за порушенням; різні сторони, однакова монета! : D $–p·log_2(p)$ $p$

Для резюме: Зворотна матриця інформації Фішера, яку оцінювала за значеннями оцінки ML, є асимптотичною або приблизною коваріаційною матрицею. Оскільки ці значення оцінювача ML знаходяться в локальному мінімумі графічно, інформація про Фішера показує, наскільки глибокий цей мінімум, і скільки ви будете махати кімнатою у вас навколо. Я знайшов цей документ Lutwak et al. про розширення інформації про Фішера та нерівність Стама - інформативне прочитання з цього питання. Статті у Вікіпедії про Інформаційну метрику Фішера та про розбіжність Дженсена-Шеннона також хороші для початку. $I$

— usεr11852 каже Відновити Моніку
джерело