Чому корисний Джефріс?

61

Я розумію, що пріоритет Джефріса інваріантний при повторній параметризації. Однак я не розумію, чому саме ця властивість бажана.

Чому б ви не хотіли, щоб попередні зміни були змінені змінними?

bayesian prior

— цкузи
джерело

3

Можливий інтерес: Чому пріори Джефріса вважаються неінформативними? .

30

Дозвольте мені завершити відповідь Дзен. Мені не дуже подобається поняття "представляти незнання". Важливим є не Джефріс, а Джеффрі задній . Ця задня частина має на меті відобразити якнайкраще інформацію про параметри, приведені даними. Властивість інваріантності, природно, необхідна для двох наступних пунктів. Розглянемо, наприклад, біноміальну модель з невідомим параметром пропорції та коефіцієнтом коефіцієнта . $\theta$ $\psi=\frac{\theta}{1-\theta}$

Jeffreys posterior on відображає якнайкраще інформацію про принесли дані. Існує відповідність один на один між і . Тоді перетворення Jeffreys posterior на в заднє на (за допомогою звичайної формули змінних змінних) повинно отримати розподіл, що відображає якнайкраще інформацію про . Таким чином, цей розподіл повинен бути Jeffreys posterior про . Це властивість інваріантності. $\theta$ $\theta$ $\theta$ $\psi$ $\theta$ $\psi$ $\psi$ $\psi$
Важливим моментом при здійсненні висновків статистичного аналізу є наукове спілкування . Уявіть, що ви даєте Джеффрі задній на науковому колезі. Але його / вона цікавить а не . Тоді це не проблема з властивістю інваріантності: він / вона просто повинен застосувати формулу змінних змінних. $\theta$ $\psi$ $\theta$

— Стефан Лоран
джерело

Ах, це трохи розмиває справи. Але чи є інтуїтивно вагома причина, чому задній для параметра коефіцієнт повинен бути таким же, як задній для параметра пропорції? Це здається мені досить неприродним.

— tskuzzy

Це не те саме! Одне індукується іншим формулою зміни змінних. Між двома параметрами існує відповідність один до одного. Тоді задній розподіл по одному з цих параметрів повинен індукувати задній розподіл на іншому.

— Стефан Лоран

2

(+1) Стефан. ОП, здається, все ще плутається, коли каже "... має бути те саме ...". Два афіші не "однакові", що трапляється, що, наприклад, у прикладі Стефана у вас є ; якщо у вас немає такої консистенції, використовуючи стандартні (обчислені) пріори, то ваші пріори трохи горіхові.

P {1 / 3 \leq θ \leq 2 / 3 ∣ X = x} = P {1 / 2 \leq ψ \leq 2 ∣ X = x}

$P\{1/3\leq\theta\leq 2/3\mid X=x\}=P\{1/2\leq\psi\leq 2\mid X=x\}$

— Дзен

1

Я думаю, чого не вистачає в цій публікації, що коли в даних про параметр є багато інформації, конкретний раніше використаний не має особливого значення. Наприклад, двочленна пропорція, будь-коли ми використовуємо рівномірний, джеффрі або галоден, має дуже незначну різницю, якщо задній не дуже широкий. У цьому випадку це трохи академічний аргумент щодо того, що попереднє є "правильним", тому що ніяких значущих висновків все одно не можна робити. Реальна цінність неінформативного пріоритету полягає в декількох вимірах, але ця проблема не вирішена - Джефріс попередній тут поганий.

— ймовірністьлогічний

3

Ця теорія неповна і залежить від упорядкування параметрів, вибору компактної області та ймовірності функції. Так, наприклад, він не підкоряється принципу ймовірності. Також важко застосувати до незалежних даних. Далі теорія Бернардо є повною лише для задач з 1-д параметром. Це, мабуть, найкращий доступний на даний момент метод. Хорошим конкурентом є груповий підхід Джейнеса.

— ймовірністьлогічний

41

Припустимо, ви і друг ви аналізуєте один і той же набір даних, використовуючи звичайну модель. Ви приймаєте звичайну параметризацію звичайної моделі, використовуючи середнє значення та дисперсію як параметри, але ваш друг вважає за краще параметризувати нормальну модель з коефіцієнтом варіації та точністю як параметри (що цілком "законно"). Якщо ви обидва використовуєте пріори Джефріса, ваш задній розподіл буде задній розподіл вашого друга, правильно перетворений з його параметризації у ваш. Саме в цьому сенсі пріоритет Джефріса є "інваріантним"

(До речі, "інваріант" - це жахливе слово; те, що ми насправді маємо на увазі, це те, що воно є "коваріантом" в тому ж значенні тензорного числення / диференціальної геометрії, але, звичайно, цей термін вже має досить усталене ймовірнісне значення, тому ми не можемо ним скористатися.)

Чому потрібна ця властивість консистенції? Тому що, якщо у попереднього Джефріса є якийсь шанс уявити незнання про значення параметрів в абсолютному значенні (насправді, це не так, але з інших причин, не пов'язаних з "інваріантністю"), і не незнання щодо конкретної параметризації моделі має бути так, що незалежно від того, з яких параметризацій ми довільно обиратимемо для початку, наші плакати повинні "відповідати" після трансформації.

Сам Джеффрі рутинно порушував цю властивість "інваріантності", будуючи своїх пріорів.

У цій роботі є кілька цікавих дискусій з цього приводу та суміжних тем.

— Дзен
джерело

1

+1: Гарна відповідь. Але, чому попереднє значення Джеффріса не представляє незнання про значення параметрів?

— Ніл Г

4

Бо це навіть не розподіл. Парадоксально стверджувати, що розподіл відображає незнання. Розподіл завжди відображає інформацію.

— Стефан Лоран

2

Ще одна довідка: projecteuclid.org/…

— Stéphane Laurent

@ StéphaneLaurent: Треба мати певну віру навіть у стан повного незнання. Незалежно від того, що ваша задня частина є мінусом, яку б імовірність не викликала ваші дані, це віра, яку ви припускаєте в такому стані невігластва. Інтуїтивний принцип, якого слід дотримуватися при вирішенні цієї думки, полягає в тому, що він повинен бути інваріантним при зміні міток (включаючи репараметризацію). Я не впевнений, але я думаю, що сам принцип (у всіх його можливих тлумаченнях - максимальна ентропія, інваріантна репараметрізація тощо) завжди визначає переконання.

— Ніл Г

Тому, коли можна сказати, що "розподіл відображає незнання", це означає, що розподіл узгоджується з цим принципом.

— Ніл Г

12

Щоб додати кілька цитат до великої відповіді Дзен: За словами Джейнеса, попередній Джефріс є прикладом принципу трансформаційних груп, який випливає з принципу байдужості:

Суть принципу якраз така: (1) ми визнаємо, що призначення ймовірностей є засобом опису певного стану i знань. (2) Якщо наявні докази не дають нам підстав вважати пропозицію або більшою чи меншою вірогідністю, ніж , тоді єдиним чесним способом ми можемо описати такий стан знань - присвоїти їм однакові ймовірності: . Будь-яка інша процедура була б непослідовною у тому сенсі, що шляхом простої заміни міток ми могли б потім створити нову проблему, в якій наш стан знань однаковий, але в якій ми призначаємо різні ймовірності ... $A_1$ $A_2$ $p_1=p_2$ $(1, 2)$

Тепер, щоб відповісти на ваше запитання: "Чому б ви не хотіли, щоб попередня зміна під зміною змінних?"

За словами Джейнеса, параметризація - це інший вид довільної мітки, і не слід бути в змозі "шляхом простої взаємозаміни міток генерувати нову проблему, в якій наш стан знань однаковий, але в якій ми призначаємо різні ймовірності. "

— Ніл Г
джерело

2

Джейнес здається мені дещо містичним.

— Стефан Лоран

@ StéphaneLaurent: Можливо, тоді я занадто легко перетворився! Але я вважав це дуже переконливим: Е. Т. Джейнс, "Де ми стоїмо на максимальній ентропії?", У "Формалізмі максимальної ентропії", Р. Левін і М. Трибус, ред. Кембридж, Массачусетс, США: The MIT Press, 1979, стор. 15–118.

— Ніл Г

2

Xian отримав електронну пошту, в якій вихваляв Jaynes: ceremade.dauphine.fr/~xian/critic.html Шкода, якщо ви не читаєте французьку мову, цей лист є і лякаючим, і смішним. Письменник, схоже, зійшов з розуму, занадто багато задумавшись про байєсівську статистику;)

— Стефан Лоран

1

@ StéphaneLaurent: Читай зараз. Це абсолютно вірно: "si vous affirmez en page 508" неповторюваність більшості експериментів "à quoi bon ensuite" шукає оптимальних процедур фекультантів "на сторінці 512? Si la plupart des problèmes ne peuvent donc pas être traités par les procédures fréquentistes, коментар le "choix Bayésien", qui se veut être le paradigme pour tout problème inférentiel, n'est-ce pas, peut-il se baser sur une réconciliation avec le fréquentisme (p. 517-518)? Pourquoi ne pas dire une fois pour toute qu'une Probabilité n'est jamais une fréquence! "

— Ніл Г

1

Також: "Le Principe du Maximum d'Entropie est lui absolument fundamental étant donné qu'il est nécessaire et sufisant pour régler ces cas d'école et que par conséquent il procure dans ces cas la signification véritable des вероятности a priori. Quand on sait qu'il permet ensuite d'unifier Théorie de l'Information, Mécanique Statistique, Thermodynamique ... "описує і мою позицію. Однак, на відміну від письменника, я не маю інтересу присвячувати години, щоб переконати інших прийняти те, що мені здається таким природним.

— Ніл Г

4

Хоча це часто цікавить, якщо тільки для встановлення попереднього етапу, на якому оцінювати інші пріори, пріори Джеффріса можуть бути абсолютно марними, як, наприклад, коли вони призводять до неправильних плакатів: це, наприклад, проста двоскладова гауссова суміш з усіма невідомими параметрами. У цьому випадку задня частина Джефріса не існує, незалежно від того, скільки спостережень є. (Доказ є в нещодавньому документі, який я писав із Кларою Граціан.)

p N (μ_{0}, σ_{0}^{2}) + (1 - p) N (μ_{1}, σ_{1}^{2})

$p\mathcal{N}(\mu_0,\sigma_0^2)+(1-p)\mathcal{N}(\mu_1,\sigma_1^2)$

— Сіань
джерело

-1

Джефріс попередньо марний . Це відбувається тому:

Він просто вказує форму розподілу; це не говорить вам, якими повинні бути його параметри.
Ви ніколи не буваєте абсолютно неосвіченими - завжди є щось про відомий вам параметр (наприклад, часто це не може бути нескінченним). Використовуйте його для свого висновку, визначивши попередній розподіл. Не брешіть собі, кажучи, що нічого не знаєте.
"Інваріація під перетворенням" не є бажаною властивістю. Ваша ймовірність змінюється в процесі трансформації (наприклад, якобійською). Це не створює "нових проблем", темпу Джейнеса. Чому до попереднього не слід ставитися так само?

Просто не використовуйте його.

— пр
джерело

1

Так? Ймовірність не є щільністю і не зміниться при репараметрізації

— бездарно