Приклад для попереднього, що на відміну від Джеффріса, веде до задньої частини, яка не є інваріантною

Я відкладаю "відповідь" на питання, яке я дав десь два тижні тому: Чому корисність "Джеффріс" корисна? Це справді було питання (і я тоді не мав права публікувати коментарі), тому я сподіваюся, що це нормально:

У посиланні вище обговорюється, що цікавою особливістю Джефріса до цього є те, що при перемодуванні моделі отриманий задній розподіл дає задню ймовірність, що підкоряється обмеженням, накладеним перетворенням. Скажімо, як обговорювалося там, при переході від ймовірності успіху $\theta$ у прикладі Бета-Бернуллі до коефіцієнтів , має бути випадок, що задній задовольняє .$\psi=\theta/(1-\theta)$$P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x)$

Я хотів створити числовий приклад інваріантності Джефріса до перетворення на коефіцієнти , і, що цікавіше, відсутність інших пріорів (скажімо, Халдана, рівномірного чи довільного).$\theta$$\psi$

Тепер, якщо заднім для ймовірності успіху є Beta (для будь-якої бета-версії, не тільки Jeffreys), задня частина шансів слідує за бета-розподілом другого роду (див. Вікіпедія) з тими ж параметрами . Тоді, як підкреслено в числовому прикладі нижче, не надто дивно (мені щонайменше), що існує інваріантність будь-якого вибору бета-версії (пограти з alpha0_Uі beta0_U), не тільки Джеффріс, пор. вихід програми.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Це підводить мене до наступних питань:

1. Чи помиляюся?
2. Якщо ні, чи є такий результат, як відсутність інваріантності у суміжних родинах чи щось подібне? (Швидкий огляд змушує мене підозрювати, що я можу, наприклад, також не спричинити відсутність інваріантності у звичайному нормальному випадку.)
3. Чи знаєте ви (бажано, простий) приклад, у якому нам не вистачає інваріантності?

Схоже, ваше обчислення підтверджує, що коли ми маємо конкретний попередній розподіл наступні дві процедури$p(\theta)$

1. Обчислити задній $p_{\theta \mid D}(\theta \mid D)$
2. Перетворіть вищезгадане заднє в іншу параметризацію, щоб отримати $p_{\psi \mid D}(\psi \mid D)$

і

1. Перетворіть попередній в іншу параметризацію, щоб отримати p ψ ( ψ $p_\theta(\theta)$$p_\psi(\psi)$
2. За допомогою попереднього обчисліть задній p ψ ∣ D ( ψ ∣ D $p_\psi(\psi)$$p_{\psi \mid D}(\psi \mid D)$

ведуть до тієї ж задньої для . Це дійсно буде завжди (застереження; доки перетворення буде таким, що розподіл по ψ визначається розподілом по θ ).$\psi$$\psi$$\theta$

Однак це не суть інваріантності. Натомість питання полягає в тому, чи є у нас конкретний метод для вирішення пріоритету наступними двома процедурами:

1. Використовуйте метод для прийняття рішення. Перш ніж вирішити $p_\theta(\theta)$
2. Перетворіть цей розподіл у $p_\psi(\psi)$

і

1. Використовуйте метод для прийняття рішення Перш ніж прийняти рішення $p_\psi(\psi)$

приводить до такого ж попереднього розподілу для . Якщо вони призведуть до одного і того ж попереднього, вони дійсно призведуть і до тієї ж задньої частини (як ви підтвердили в декількох випадках).$\psi$

Як згадується у відповіді @ NeilG, якщо ваш метод визначення пріоритету є "встановленим рівномірним параметром", у випадку ймовірності / шансів ви не отримаєте такий самий попередній перелік, як рівномірний попередній для над [ 0 , 1 ] не є рівномірним для ψ над [ 0 , ∞ ) .$\theta$$[0,1]$$\psi$$[0,\infty)$

Натомість, якщо ваш метод визначення пріоритету - "використовувати пріоритет Джеффрі для параметра", не має значення, чи будете ви використовувати його для і перетворюєте його в met -параметризацію, або використовуєте для ψ безпосередньо. Це заявлена ​​інваріантність.$\theta$$\psi$$\psi$

Схоже, на перевірку ймовірності, викликаної даними, не впливає параметризація, яка не має нічого спільного з попередньою.

Якщо ваш спосіб вибору пріорів полягає в, наприклад, "виборі рівномірного попереднього", то те, що є рівномірним за однією параметризацією (скажімо, бета-версія, тобто бета (1,1)), не є рівномірною під іншою, скажімо, BetaPrime (1,1 ) (який перекошений) - BetaPrime (1, -1) є рівномірним, якщо така річ існує.

Приміром Джеффрі є єдиний "спосіб вибору пріорів", який є інваріантним в умовах репараметризації. Отже, це менш припустимо, ніж будь-який інший спосіб вибору пріорів.