Що таке "неінформативний поперед"? Чи можемо ми колись мати таку, яка справді не має інформації?

Натхненний коментарем до цього питання :

Що ми вважаємо "неінформативним" у попередньому - а яка інформація все ще міститься в передбачуваному неінформативному попередньому?

Я, як правило, бачу попередній аналіз, коли це або частофілістський аналіз, який намагається запозичити деякі приємні деталі з байєсівського аналізу (будь-яка легша інтерпретація аж до "його гарячої речі"), зазначений попередній рівномірний розподіл по межах вимірювання ефекту, зосереджені на 0. Але навіть, стверджують в форму до попереднього - це як раз трапляється бути плоскими.

Чи є кращий неінформативний до використання?

[Попередження: як член картки секції Об'єктивного Байєса ISBA , мої погляди не є репрезентаційними для всіх баєсівських статистиків!, Навпаки ...]

Підсумовуючи це, не існує такого поняття, як попереднє, з "справді немає інформації".

Дійсно, «неінформативний» пріоритет, на жаль, є неправильним. Будь-який попередній розповсюдження містить деяку специфікацію, яка схожа на деяку кількість інформації. Навіть (або особливо) рівномірний попередній. Дійсно, рівномірний пріоритет є лише рівним для однієї заданої параметризації задачі. Якщо одна зміниться на іншу параметризацію (навіть обмежену), зміна якобіанської змінної вводиться в картину та щільність, а попередня вже не є плоскою.

Як вказував Елвіс, максимальна ентропія - це один підхід, який відстоюється для вибору так званих "неінформативних" пріорів. Однак він вимагає (a) достатньої інформації про деякі моменти попереднього розподілу для визначення обмежень які ведуть до MaxEnt попереднього і (b) попередній вибір опорного заходу [у безперервних налаштуваннях], вибір, який повертає дискусію до початкового етапу! (Крім того, параметризація обмежень (тобто вибір$h(\theta)$$\pi(\cdot)$

$$\int_{\Theta} h(\theta)\,\text{d}\pi(\theta) = \mathfrak{h}_0$$ $$\pi^*(\theta)\propto \exp\{ \lambda^\text{T}h(\theta) \}$$ $\text{d}\mu(\theta)$$h$) впливає на форму отриманого MaxEnt попереднього.)

Хосе Бернардо випустив оригінальну теорію референтних пріорів, де він обирає попереднє, щоб максимально використати інформацію, яку отримують дані, максимізуючи відстань Куллбека між попередньою і задньою. У найпростіших випадках без параметрів неприємностей, рішення є пріоритетом Джефріса. У більш складних проблемах: (a) вибір параметрів, що цікавлять (або навіть ранжування їх порядку інтересів) повинен бути зроблений; (b) обчислення попереднього є досить задіяним і вимагає послідовності вбудованих компактних наборів, щоб уникнути неполадок. (Детальніше див., Наприклад, вибір Байесів.)

У цікавому повороті деякі дослідники за межами байєсівської точки зору розробляли процедури, які називали розподілами довіри, які є розподілом ймовірності на просторі параметрів, побудованим шляхом інверсії з частотних процедур без явної попередньої структури або навіть домінуючої міри щодо цього простору параметрів. Вони стверджують, що ця відсутність чітко визначеного попереднього курсу є плюсом, хоча результат, безумовно, залежить від вибору процедури, заснованої на початковій частоті

Коротше кажучи, немає "найкращого" (або навіть "кращого") вибору для "" неінформативного "попереднього. І я вважаю, що так має бути, оскільки сама природа байєсівського аналізу передбачає, що вибір попереднього розподілу має значення. І що немає порівняння пріорів: не можна бути "кращим", ніж інший. (Принаймні, перш ніж спостерігати за даними: як тільки це спостерігається, порівняння апріорів стає типовим вибором.) Висновок Хосе Бернардо, Джима Бергера, Донччу Сун та багатьох інших "об'єктивних" байесівців полягає в тому, що є приблизно еквівалентні референтні пріорі використовувати, коли не знаєте про свою попередню інформацію або шукаєте байєсівського висновку, де деякі з цих пріорів частково підтримуються аргументами теорії інформації,

Привабливою властивістю формальних неінформативних пріорів є "властивість частотистичної відповідності": це означає, що задній інтервал достовірності 95% також є (щонайменше, приблизно) інтервалом впевненості 95% у частістському розумінні. Ця властивість є попередньою посиланням Бернардо, хоча фонди цих неінформативних пріорів не орієнтовані на досягнення хорошої властивості, що відповідає частоті, якщо ви використовуєте "наївну" ("плоску") неінформативну інформацію, таку як рівномірний розподіл або гауссова розповсюдження з величезною дисперсією, тоді немає гарантії того, що властивість часто узгоджених частот відповідає. Можливо, посилання Бернардо до цього не могла розглядатися як "кращий" вибір неінформативного попереднього, але може вважатися найбільш вдалим.

Розподіл Джеффрі також страждає від невідповідностей: пріори Джеффрі для змінної над або понад є неправильними, що не стосується Джеффрі перед параметром ймовірності : міра має масу більше .$(-\infty,\infty)$$(0,\infty)$$p$$\text{d}p/\sqrt{p(1-p)}$$\pi$$(0,1)$

Рені показав, що неінформативний розподіл повинен бути пов'язаний з неправильним інтегралом. Дивіться натомість розподіли Lhoste, які уникають цієї складності та є інваріантними при зміні змінних (наприклад, для , міра ).$p$$\text{d}p/p(1-p)$

---

По-перше, переклад хороший!

Для Е. LHOSTE: "Le calcul des Probabilités applyqué à l'artillerie", Revue d'artillerie, том 91, травень 1923

Для А. РЕНІ: "Про нову аксіоматичну теорію вірогідності" Acta Mathematica, Académie des Sciences hongroises, том VI, фас.3-4, 1955

Я можу додати: М. ДЮМАС: "Lois de Probabilité a priori de Lhoste", Sciences et техніка de l'armement, 56, 4ème fascicule, 1982, pp 687-715

Я погоджуюся з чудовою відповіддю Сіань , вказуючи, що немає жодного попереднього, що було б "неінформативним" у сенсі нести ніякої інформації. Щоб розширити цю тему, я хотів би зазначити, що однією з альтернатив є проведення байєсівського аналізу в неточних імовірнісних рамках (див. Есп . Walley 1991 , Walley 2000 ). У цих рамках попередня віра представлена набором розподілів ймовірностей, і це призводить до відповідного набору заднього розподілу. Це може здатися, що це буде не дуже корисно, але насправді це досить дивовижно. Навіть при дуже широкому наборі попередніх розподілів (де певні моменти можуть сягати всіх можливих значень), ви часто все ще отримуєте задню конвергенцію до однієї задньої, як .$n \rightarrow \infty$

Ця аналітична структура була аксіоматизована Валлі як власна спеціальна форма ймовірнісного аналізу, але по суті еквівалентна надійному байєсівському аналізу з використанням набору пріорів, що дає відповідний набір позиціонерів. У багатьох моделях можливо встановити "неінформативний" набір апріорів, який дозволяє змінювати деякі моменти (наприклад, попереднє середнє значення) протягом усього можливого діапазону значень, і це, тим не менш, дає цінні результати задніх сторін, де задні моменти обмежені більш щільно. Ця форма аналізу, мабуть, має більш високу претензію до того, що її можна назвати "неінформативною", принаймні щодо моментів, які здатні змінюватись протягом усього допустимого діапазону.

---

Простий приклад - модель Бернуллі: Припустимо, ми спостерігаємо дані де - невідомий параметр, що цікавить. Зазвичай ми б використовували бета-щільність як попередню (як попередня, так і попередня довідка Джефрі є такою формою). Ми можемо вказати цю форму попередньої щільності у перерахунку на попереднє середнє значення та інший параметр як:$X_1,...,X_n | \theta \sim \text{IID Bern}(\theta)$$\theta$$\mu$$\kappa > 1$

$$\begin{equation} \begin{aligned} \pi_0(\theta | \mu, \kappa) = \text{Beta}(\theta | \mu, \kappa) = \text{Beta} \Big( \theta \Big| \alpha = \mu (\kappa - 1), \beta = (1-\mu) (\kappa - 1) \Big). \end{aligned} \end{equation}$$

(Ця форма дає попередні моменти та .) Тепер у неточній моделі ми могли б Встановіть попередній, що складається з набору всіх цих попередніх розподілів над усіма можливими очікуваними значеннями , але з іншим параметром, зафіксованим для контролю точності над діапазоном середніх значень. Наприклад, ми можемо використовувати набір пріорів:$\mathbb{E}(\theta) = \mu$$\mathbb{V}(\theta) = \mu(1-\mu) / \kappa$

$$\mathscr{P}_0 \equiv \Big\{ \text{Beta}(\mu, \kappa) \Big| 0 \leqslant \mu \leqslant 1 \Big\}. \quad \quad \quad \quad \quad$$

Припустимо, ми спостерігаємо позитивних показників у даних. Потім, використовуючи правило оновлення для моделі Бернуллі-бета, відповідний задній набір:$s = \sum_{i=1}^n x_i$

$$\mathscr{P}_\mathbf{x} = \Big\{ \text{Beta}\Big( \tfrac{s + \mu(\kappa-1)}{n + \kappa -1}, n+\kappa \Big) \Big| 0 \leqslant \mu \leqslant 1 \Big\}.$$

Діапазон можливих значень заднього очікування:

$$\frac{s}{n + \kappa-1} \leqslant \mathbb{E}(\theta | \mathbb{x}) \leqslant \frac{s + \kappa-1}{n + \kappa-1}.$$

Тут важливо те, що, хоча ми почали з моделі, яка була "неінформативною" щодо очікуваного значення параметра (попереднє очікування варіювалося над усіма можливими значеннями), ми все-таки закінчуємося задніми висновками, які є інформативними щодо до заднього очікування параметра (тепер вони перебувають у межах більш вузького набору значень). Оскільки цей діапазон значень видавлюється до однієї точки, що є справжнім значенням .$n \rightarrow \infty$$\theta$