Інтуїтивна причина, чому інформація про Фішера у біномалі обернено пропорційна

12

Це бентежить / дує мій погляд, що біноміал має відмінність, пропорційну $p(1-p)$ . Еквівалентно, що інформація про Фішера пропорційна $\frac{1}{p(1-p)}$ . У чому причина цього? Чому інформація про Фішера мінімізована при $p=0.5$ ? Тобто, чому висновок найскладніший при $p=0.5$ ?

Контекст:

Я працюю над калькулятором розміру вибірки, і формула для $N$ , необхідного розміру вибірки, - це коефіцієнт, що збільшується, $p(1-p)$ , результат оцінки дисперсії в деривації.

variance binomial interpretation

— Cam.Davidson.Pilon
джерело

3

Дисперсія Бернуллі випадкової величини з параметром є та біноміальної випадковою величиною, що є сума незалежних бернулліевимі випадкових величин, має дисперсію , яка є сумою дисперсій . Що стосується того, чому , розглянемо дисперсію як момент інерції щодо центру мас мас та при та відповідно.

p

$p$

p (1 - p)

$p(1-p)$

N

$N$

N p (1 - p)

$Np(1-p)$

N

$N$

p (1 - p)

$p(1-p)$

p

$p$

1 - p

$1-p$

1

$1$

0

$0$

— Діліп Сарват

Так, я сказав пропорційно , ігнорувати . Чи можете ви детальніше розглянути свою другу частину, це здається цікавою перспективою.

p (1 - p)

$p(1-p)$

N

$N$

— Cam.Davidson.Pilon

13

Інтуїтивно зрозуміти, що дисперсія максимальна при , візьміть дорівнює (відповідно ). Тоді зразок з , ймовірно, містить багато 's (відповідно ' s) і лише кілька 's (відповідно ' s). Варіацій там мало. $p = 0.5$ $p$ $0.99$ $p = 0.01$ $X \sim \text{Bernoulli}(p)$ $1$ $0$ $0$ $1$

— окрам
джерело

Це правда. Можливо, я повинен запитати: Чому інформація про рибалки мінімізована на ? $p=0.5$ , тобто чому висновок найскладніший при ? Я оновлю своє запитання, щоб це відобразити.

p = 0.5

$p=0.5$

— Cam.Davidson.Pilon

3

Знову дуже інтуїтивно зрозуміло: чим більше варіацій, тим більше інформації вам потрібно.

— ocram

9

Висновок "важкий" для 'посередині, тому що зразок з поблизу середини відповідає більш широкому діапазону . Близько кінців не може бути так далеко - тому що кінці є "бар'єрами", за якими не може вийти. $p$ $\hat p$ $p$ $p$

Я думаю, що інтуїція простіша, якщо дивитися на дисперсію.

Інтуїція про величину дисперсії двочлена в середині та невеликої на кінцях є досить простою: біля кінцевих точок немає місця для "розповсюдження" даних. Розглянемо малий - оскільки середнє значення близьке до 0, варіація не може бути великою - для даних до середнього це може бути лише далеко від середнього. $p$ $p$

Розглянемо дисперсію пропорційної вибірки в серії випробувань Бернуллі. Тут . Таким чином, тримаючи фіксованих і змінюючи , варіація значно менша для поблизу 0: $\text{Var}(\hat p) = p(1-p)/n$ $n$ $p$ $p$

Частка вибірки у двочленних зразках - тут просто випадкова рівномірна; у блакитному корпусі є середнє значення 0,03, у чорному - 0,5 (додається трохи тремтіння, щоб точки не накопичувалися занадто багато і втрачали деталі) $y$ введіть тут опис зображення

Відповідні функції ймовірності: введіть тут опис зображення

У кожному випадку зверніть увагу на лінії, що позначають середню. Оскільки середня лінія стає більше "застрягла" проти бар'єру, точки нижче середньої можна отримати лише невеликим шляхом внизу.

Як результат, точки вище середньої величини зазвичай не можуть надто далеко над середньою (бо в іншому випадку середня зміститься!). Біля кінцеві точки насправді не "підштовхують" так, як це відбувається, коли є бар'єр. $p = \frac{1}{2}$

введіть тут опис зображення

Ми одночасно бачимо, чому розподіл повинен бути перекошений на кінцях; щоб випадкова величина була деякою частиною часу більше, ніж вище середньої, повинно бути відповідно більше ймовірності, що знижується приблизно на середній, наскільки це може піти. Цей навісний бар'єр при 0 дає як обмеження змінності, так і призводить до косості. $\hat p$ $p$

[Ця форма інтуїції не говорить про те, чому вона приймає саме таку функціональну форму, але це чітко дає зрозуміти, чому дисперсія повинна бути невеликою біля кінців, а менше бути ближче до кінців, на які ви йдете.]

— Glen_b -Встановити Моніку
джерело

Як результат, точки вище середньої величини зазвичай не можуть надто далеко над середньою (бо в іншому випадку середня зміститься!). Близько p = 12 кінцеві точки насправді не «підштовхують це так само». Занадто ідеально. Це чудове пояснення.

— Cam.Davidson.Pilon

7

Інформація про Фішера - це дисперсія функції рахунку. І це пов’язано з ентропією. Для випробування Бернуллі ми отримуємо один біт за кожне випробування. Тож ця інформація про Фішера має подібні властивості, як і ентропія Шеннона, як ми могли б очікувати. Зокрема, ентропія має максимум у 1/2, а інформація - мінімум у 1/2.

— Джеймс
джерело

А, ще одна велика перспектива. Я не думав про це з ентропічного погляду!

— Cam.Davidson.Pilon