Чи може належна попередня і експонентована ймовірність призвести до неправильної задньої?

(Це питання натхнене цим коментарем від Сіаня .)

Добре відомо, що якщо правильний попередній розподіл $\pi(\theta)$ і чітко визначена ймовірність $L(\theta | x)$ , то задній розподіл $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$ є належним майже напевно.

У деяких випадках ми використовуємо натомість загартовану або експоненційну ймовірність, що призводить до псевдо-задньої

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$ для деяких

α > 0

$\alpha>0$ (наприклад, це може мати обчислювальні переваги).

Чи можна в цій обстановці мати правильний попередній, але неправильний псевдо-задній?

bayesian prior posterior

— Робін Райдер
джерело

Власне, через декілька хвилин я вважаю це малоймовірним, оскільки розбіжність продукту попереднього х вірогідності зменшується, якщо враховувати попередній х вірогідність ^ α продукту ... Будь-який терен, що йде до нескінченності, відбувається там повільніше! І умови, які йдуть до нуля повільніше, контролюються належним попереднім. Моя обставина, таким чином, що це неможливо. (попередження: Мені відомо, що я помиляюся!)

— Сіань

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

Чи буде цей аргумент також працювати для ? Також, чи є спосіб довести, що ймовірність, побудована таким чином, була б правильною?

α < 1

$\alpha < 1$

— InfProbSciX

Власне, для , оскільки ми знаємо, що , надсума на RHS завжди кінцева, а для , один використовує ваш аргумент Дженсена, щоб зробити те саме виведення. Тож аргумент провалюється в цьому відношенні. Невелике зауваження, що цей аргумент вимагає необмеженої ймовірності успіху , тобто для всіх .

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— πr8

Щоправда, для ви не можете побудувати одного, хороший пункт! Треба сказати, я був би захоплений бачити приклад необмеженої ймовірності! Можливо, бета-задність буде наслідком необмеженої ймовірності.

α = 1

$\alpha = 1$

— InfProbSciX

Відповіді:

Для , можливо, це аргумент, щоб показати, що неможливо побудувати таку задню? $\alpha \leq 1$

Ми хотіли б дізнатися, чи можливо для . $\int \tilde \pi(\theta|x)d\theta = \infty$

На RHS:

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Якщо , є увігнутою функцією, значить, нерівність Дженсена: $\alpha \leq 1$ $x^{\alpha}$

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... де як вказував Сіань, - нормалізуюча константа (докази). $m(x)$

— InfProbSciX
джерело

Охайно, спасибі. Мені подобається, що ти використовуєш той факт, що для задня частина належна.

α = 1

$\alpha=1$

— Робін Райдер

Можна використати результат у відповіді @ InfProbSciX, щоб довести результат в цілому. Перепишіть як Якщо , маємо випадок нерівності Дженсена вище, оскільки ми знаємо, що нормалізується. Аналогічно, якщо , ми можемо записати з , знову потрапляючи в той самий випадок, оскільки ми знаємо, що нормалізується. Тепер можна використовувати (сильну) індукцію, щоб показати справу взагалі. $L(\theta\mid x)^\alpha\pi(\theta)$

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$

1 \leq α \leq 2

$1 \leq \alpha \leq 2$

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$

2 \leq α \leq 3

$2 \leq \alpha \leq 3$

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$

1 \leq p \leq 2

$1 \leq p \leq 2$

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$

Старі коментарі

Не впевнений, чи це дуже корисно, але оскільки я не можу коментувати, я залишу це у відповіді. Крім відмінного зауваження @ InfProbSciX про , якщо можна зробити подальше припущення, що , то неможливо мати правильний попередній, але неправильний псевдо-задній для . Наприклад, якщо ми знаємо, що другий ( th) момент існує, ми знаємо, що він знаходиться в ( ) і, отже, псевдо-задній буде відповідати . Розділ 1 у цих примітках $\alpha \leq 1$ $L(\theta \mid x) \in L^p$ $1 < \alpha \leq p$ $p$ $L(\theta \mid x)$ $L^2$ $L^p$ $0 \leq \alpha \leq 2$ детальніше описується, але, на жаль, не ясно, наскільки широкий клас, скажімо, pdfs. Прошу вибачення, якщо я виступаю поза чергою, я дуже хотів залишити це як коментар. $L^{10}$

— Луїз Макс Карвальо
джерело

Ви маєте рацію, якщо ймовірність функції знаходиться в просторі - тобто простір w - міра, індукована попередньою, то задній буде правильним для . Я повністю здогадуюсь тут, але думаю, що простір охоплює найбільш ймовірності, про які ми можемо подумати - я думаю, що, можливо, я прочитав доказове століття тому, що якщо є Ріманном інтегральним, то і його позитивні сили також є. є інтегральним, хоча. Теорема 1.26 для довідки

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$

— InfProbSciX

@InfProbSciX, я думаю, тут може бути повний доказ, що ховається в тіні. Я беру з вашої відповіді, що може бути негативною. Якщо це правильно, то ми можемо показати, що для будь-якого псевдоімовірність буде інтегральною, оскільки реципрокні інтегруючі функції інтегруються. І якщо ймовірність інтегрується, я стверджую, що задній буде інтегральним, тому що попередній обмежений, а твір інтегруючої та обмеженої функції інтегрується ( math.stackexchange.com/a/56008/271610 ). Дайте мені знати, що ви думаєте.

α

$\alpha$

p > 1

$p > 1$

— Луїз Макс Карвальо

Я думаю, що ви можете проігнорувати випадок, коли , оскільки питання прямо передбачає інше. Необхідно показати інтегральність для будь-якого загального випадку. Крім того, я не впевнений, що пріоритет завжди обмежений, наприклад, щільність не була б.

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX

@InfProbSciX, я мав на увазі те, що навіть якщо не в питанні, якщо ваше доказ також відповідає цій умові, ми можемо показати інтегративність для , використовуючи той факт, що якщо інтегрується, то так становить . Як ви кажете, все це є нульовим, якщо попереднє не є необмеженим. Ми можемо спробувати обмежити ймовірність замість цього, і мені здається, що будь-яка ймовірність, яку ви б використовували в MLE, повинна бути або обмеженою, або сильно увігнутою ( en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties ), яку обидву можна використовувати побудувати загальний доказ. Будь-які думки?

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

— Луїс Макс Карвальо

Вибачте, я пропустив це, так, схоже, це зробить цікаву спробу!

— InfProbSciX