Інтуїтивне пояснення інформації про Фішера та пов'язаного Cramer-Rao

59

Мені не подобається інформація про Фішера, що вона вимірює і наскільки вона корисна. Крім того, це стосунки з прив'язкою Крамера-Рао мені не видно.

Чи може хтось, будь ласка, дати інтуїтивне пояснення цих понять?

estimation intuition fisher-information

— Нескінченність
джерело

1

Чи є в статті Вікіпедії щось, що викликає проблеми? Він вимірює кількість інформації, яку спостережувана випадкова величина

X

$X$ несе невідомий параметр

θ

$\theta$ від якого залежить ймовірність

X

$X$ , а його зворотною є нижня межа Крамера-Рао на дисперсії неупередженого оцінювача

θ

$\theta$ .

— Генрі

2

Я це розумію, але мені це не дуже комфортно. Мовляв, що саме означає "кількість інформації" тут. Чому відмінні очікування площі часткової похідної щільності вимірюють цю інформацію? Звідки походить цей вираз і т. Д. Тому я сподіваюся отримати певну інтуїцію.

— Нескінченність

@ Infinity: Оцінка - це пропорційна швидкість зміни ймовірності спостережуваних даних під час зміни параметра і настільки корисна для висновку. Фішер подає інформацію про дисперсію (нульової) оцінки. Таким чином, математично це очікування квадрата першої часткової похідної логарифму густини і так є негативним від очікування другої часткової похідної логарифму щільності.

— Генрі

32

Тут я пояснюю, чому асимптотичною дисперсією оцінювача максимальної ймовірності є нижня межа Крамера-Рао. Сподіваємось, це дасть деяке розуміння щодо актуальності інформації про Фішера.

Статистичний висновок протікає з використанням функції ймовірності яку ви будуєте з даних. Точкова оцінка є значення , яке максимізує . Оцінка є випадковою величиною, але це допомагає зрозуміти , що функція правдоподібності є «випадкової кривої». $\mathcal{L}(\theta)$ $\hat{\theta}$ $\mathcal{L}(\theta)$ $\hat{\theta}$ $\mathcal{L}(\theta)$

Тут ми припускаємо iid-дані, отримані з розподілу , і визначаємо ймовірність $f(x|\theta)$

L (θ) = \frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i} | θ)

$\mathcal{L}(\theta) = \frac{1}{n}\sum_{i=1}^n \log f(x_i|\theta)$

Параметр має властивість, що він максимізує значення "справжньої" ймовірності, . Однак функція "спостережуваної" ймовірності , побудована з даних, трохи "відключається" від справжньої ймовірності. Однак, як ви можете собі уявити, зі збільшенням кількості вибірки "спостережувана" ймовірність збігається до форми справжньої кривої ймовірності. Це ж стосується похідної вірогідності щодо параметра, функції рахунку . (Якщо коротко розповісти, інформація про Фішера визначає, наскільки швидко $\theta$ $\mathbb{E}\mathcal{L}(\theta)$ $\mathcal{L}(\theta)$ $\partial \mathcal{L}/\partial \theta$ спостережувана функція балів переходить у форму справжньої функції рахунку.)

При великому обсязі вибірки, ми припускаємо , що наша оцінка максимальної правдоподібності дуже близько до & . Ми збільшити в малій околиці навколо і & так , що функція правдоподібності «локально квадратичної». $\hat{\theta}$ $\theta$ $\theta$ $\hat{\theta}$

$\hat{\theta}$ $\partial \mathcal{L}/\partial \theta$ $a$ $b$ $\theta$

a (\hat{θ} - θ) + b = 0

$a(\hat{\theta} - \theta) + b = 0$

або

\hat{θ} = θ - b / a .

$\hat{\theta} = \theta - b/a .$

З послідовності оцінки MLE ми це знаємо

E (\hat{θ}) = θ

$\mathbb{E}(\hat{\theta}) = \theta$

в межі.

Тому асимптотично

n V a r (\hat{θ}) = n V a r (b / a)

$nVar(\hat{\theta}) = nVar(b/a)$

$\theta$

n V a r (\hat{θ}) = \frac{1}{a^{2}} n V a r (b)

$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b)$

$a$ $nVar(b)$

- a = E [- \frac{\partial^{2} L}{\partial θ^{2}}] = I (θ)

$-a = \mathbb{E}\left[-\frac{\partial^2 \mathcal{L}}{\partial \theta^2}\right] = I(\theta)$

n V a r (b) = n V a r [\frac{\partial L}{\partial θ}] = I (θ)

$nVar(b) = nVar\left[\frac{\partial \mathcal{L}}{\partial \theta}\right] = I(\theta)$

Таким чином,

n V a r (\hat{θ}) = \frac{1}{a^{2}} n V a r (b) = (1 / I (θ)^{2}) I (θ) = 1 / I (θ)

$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b) = (1/I(\theta)^2)I(\theta) = 1/I(\theta)$

1 / I (θ)

$1/I(\theta)$

— charles.y.zheng
джерело

2

Чи є графічне зображення частини, де ви згадуєте, що функція ймовірності локально квадратична?

— quirik

@quirik, розгляньте можливість використання розширення Тейлора другого порядку навколо theta_hat.

— idnavid

@ charles.y.zheng Це одне з найцікавіших пояснень сцени.

— idnavid

13

Один із способів я розумію інформацію про рибалку - це таке визначення:

I (θ) = \int_{X} \frac{\partial^{2} f (x | θ)}{\partial θ^{2}} d x - \int_{X} f (x | θ) \frac{\partial^{2}}{\partial θ^{2}} \log [f (x | θ)] d x

$I(\theta)=\int_{\cal{X}} \frac{\partial^{2}f(x|\theta)}{\partial \theta^{2}}dx-\int_{\cal{X}} f(x|\theta)\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x|\theta)]dx$

$f(x|\theta)$ $\cal{X}$ $\theta$ $\int_{\cal{X}} f(x|\theta)dx=1$

Тепер, коли ви робите максимальну оцінку ймовірності (вставте тут "умови регулярності")

\frac{\partial}{\partial θ} \log [f (x | θ)] = 0

$\frac{\partial}{\partial \theta}\log[f(x|\theta)]=0$

$\theta$ $\theta$ $x$

Одне, що мені все-таки цікаво, це те, наскільки крутим є ймовірність журналу, а не наскільки крутою є якась інша монотонна функція ймовірності (можливо, це стосується "належних" бальних функцій в теорії рішень? Або, можливо, з аксіомами послідовності ентропії ?).

$\exp(-ax^{2})$

f (d a t a | θ) = \exp (\log [f (d a t a | θ)])

$f(data|\theta)=\exp(\log[f(data|\theta)])$

І коли ви тейлор розширюєте ймовірність журналу про MLE:

f (d a t a | θ) \approx [f (d a t a | θ)]_{θ = θ_{M L E}} \exp (- \frac{1}{2} {[- \frac{\partial^{2}}{\partial θ^{2}} \log [f (d a t a | θ)]]}_{θ = θ_{M L E}} (θ - θ_{M L E})^{2})

$f(data|\theta)\approx [f(data|\theta)]_{\theta=\theta_{MLE}}\exp\left(-\frac{1}{2}\left[-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]\right]_{\theta=\theta_{MLE}}(\theta-\theta_{MLE})^{2}\right)$

- \frac{\partial^{2}}{\partial θ^{2}} \log [f (d a t a | θ)] = n (- \frac{1}{n} \sum_{i = 1}^{n} \frac{\partial^{2}}{\partial θ^{2}} \log [f (x_{i} | θ)]) \approx n I (θ)

$-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]=n\left(-\frac{1}{n}\sum_{i=1}^{n}\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x_{i}|\theta)]\right)\approx nI(\theta)$

$\theta$

— ймовірністьіслогічна
джерело

1

"Одне, що мені все-таки цікаво, це те, наскільки крута є ймовірність колоди, а не наскільки крута якась інша монотонна функція ймовірності". Я впевнений, що ви могли б отримати аналоги для інформації Фішера з точки зору інших перетворень ймовірності, але тоді ви не отримаєте настільки чіткого виразу для нижньої межі Cramer-Rao.

— charles.y.zheng

2

Це найінтуїтивніша стаття, яку я бачив досі:

Нижня межа Крамера-Рао на варіації: "Принцип невизначеності" Адама та Єви Майкла Р. Пауерса, Журнал фінансів ризиків, Vol. 7, № 3, 2006

Це пояснюється аналогією Адама та Єви в Едемському саду, кидаючи монетку, щоб побачити, хто має їсти фрукти, і вони запитують себе, наскільки великий зразок необхідний для досягнення певного рівня точності в їх оцінці, і вони виявляють цю межу ...

Хороша історія з глибоким повідомленням про реальність справді.

— фондж
джерело

6

Дякуємо, що опублікували цю посилання. Зрештою, я розчарувався, виявивши, що це насправді не пояснює CRLB. Він просто констатує це, не надаючи ніякого розуміння того, чому це правда, і лише надає якусь викликаючу, але в кінцевому рахунку безглузду мову, як-от "вичавлення інформації", намагаючись пояснити її.

— whuber

@whuber: Досить справедливо, я погоджуюся, що це може пірнути глибше, а закінчення трохи різке. І все, що мені подобається в статті, це те, що це дійсно здається природним, що існує зв'язок між розміром вибірки, середньою вибіркою, законом великих чисел і що дисперсія вибірки може бути зменшена лише до точки (тобто, що має бути деякі зв'язані , що трапляється вищезгаданим). Це також дає зрозуміти, що це не якийсь невловимий математичний результат, а справді твердження про межі здобуття знань про реальність.

— фондж

2

Хоча пояснення, подані вище, дуже цікаві, і мені подобалося переглядати їх, але я відчуваю, що природа нижньої межі Крамера-Рао найкраще пояснилася мені з геометричної точки зору. Ця інтуїція є резюме поняття концентрації еліпсів з 6-ї глави книги Шарфа про статистичну обробку сигналів .

${\boldsymbol\theta}$ $\hat{\boldsymbol\theta}$ ${\boldsymbol\Sigma}$ $\hat{\boldsymbol\theta}$

$f(\hat{\boldsymbol\theta})\propto \exp(-\frac{1}{2}(\hat{\boldsymbol\theta}-{\boldsymbol\theta})^T{\boldsymbol\Sigma}^{-1}(\hat{\boldsymbol\theta}-{\boldsymbol\theta}))$ .

Тепер подумайте про контурні графіки цього розподілу для . Будь-яке обмеження верхньої межі щодо ймовірності (тобто ) призведе до виникнення еліпсоїда з центром у з фіксованим радіусом . Неважко показати, що між радіусом еліпсоїда та бажаною ймовірністю існує співвідношення один на один . Іншими словами, близький до в межах еліпсоїда, визначеного радіусом з вірогідністю ${\boldsymbol\theta}\in R^2$ $\hat{\boldsymbol\theta}$ $\int f(\hat{\boldsymbol\theta})d{\boldsymbol\theta} \le P_r$ ${\boldsymbol\theta}$ $r$ $r$ $P_r$ $\hat{\boldsymbol\theta}$ ${\boldsymbol\theta}$ $r$ $P_r$ . Цей еліпсоїд називають концентраційним еліпсоїдом.

Розглядаючи вищеописаний опис, про CRLB можна сказати наступне. Серед усіх неупереджених оцінювачів CRLB являє собою оцінювач з коваріацією який за фіксованою ймовірністю "близькості" (як визначено вище) має найменшу концентрація еліпсоїда. На малюнку нижче представлена двовимірна ілюстрація (натхненна ілюстрацією в книзі Шарфа ). $\hat{\boldsymbol\theta}_{crlb}$ $\boldsymbol\Sigma_{crlb}$ $P_r$

— іднавід
джерело

2

Ну, це криваво чудово, особливо образ, потребує більше витрат.

— Астрід