Що означає "ймовірність визначена лише до мультиплікативної константи пропорційності"?

19

Я читаю документ, де автори ведуть з обговорення максимальної оцінки ймовірності до теореми Байєса, нібито як вступу для початківців.

Як імовірний приклад, вони починаються з біноміального розподілу:

p (x | n, θ) = (\binom{n}{x}) θ^{x} (1 - θ)^{n - x}

$p(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x}$

а потім запишіть обидві сторони

ℓ (θ | x, n) = x \ln (θ) + (n - x) \ln (1 - θ)

$\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta)$

з обґрунтуванням, що:

"Оскільки ймовірність визначається лише до мультиплікативної константи пропорційності (або константи адиції для логотипної ймовірності), ми можемо змінити масштаб ..., скинувши біноміальний коефіцієнт і записавши ймовірність журналу замість вірогідності"

Математика має сенс, але я не можу зрозуміти, що означає "ймовірність визначається лише до мультиплікативної константи пропорційності", і як це дозволяє скинути біноміальний коефіцієнт і перейти від до . $p(x|n,\theta)$ $\ell(\theta|x,n)$

Аналогічна термінологія виникла і в інших питаннях ( тут і тут ), але досі не зрозуміло, яка, практично, ймовірність визначається чи доводиться інформація до мультиплікативних постійних засобів. Чи можливо це пояснити мирянином?

— кмм
джерело

18

Справа в тому, що іноді різні моделі (для одних і тих же даних) можуть призводити до імовірнісних функцій, які відрізняються мультиплікативною константою, але зміст інформації повинен бути однозначним. Приклад:

Ми моделюємо $n$ незалежних експериментів Бернуллі, що призводять до даних $X_1, \dots, X_n$ , кожен з розподілом Бернуллі з параметром (ймовірність) $p$ . Це призводить до функції ймовірності

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}}

$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$ Або ми можемо узагальнити дані за біноміально розподіленою змінною

Y = X_{1} + X_{2} + \dots + X_{n}

$Y=X_1+X_2+\dotsm+X_n$ , що має біноміальне розподіл, що веде до ймовірності функції

(\binom{n}{y}) p^{y} (1 - p)^{n - y}

$\binom{n}{y} p^y (1-p)^{n-y}$ який як функція невідомого параметра

p

$p$ пропорційний колишній функції ймовірності. Дві функції ймовірності чітко містять однакову інформацію і повинні вести до однакових висновків!

І дійсно, за визначенням вони вважаються тією ж функцією вірогідності.

Інша точка зору: зауважте, що коли ймовірнісні функції використовуються в теоремі Байєса, як це потрібно для байєсівського аналізу, такі мультиплікативні константи просто скасовуються! тому вони явно не мають значення для байєсівського умовиводу. Так само воно скасується при обчисленні коефіцієнтів імовірності, як це використовується в тестах на оптимальні гіпотези (лемма Неймана-Пірсона.) І не матиме впливу на значення оцінок максимальної вірогідності. Тож ми можемо бачити, що в більшості частофілістських висновків це не може грати ролі.

Ми можемо сперечатися з іншої точки зору. Функція ймовірності Бернуллі (далі ми використовуємо термін "щільність") вище - це дійсно щільність щодо міри підрахунку, тобто міра на невід'ємні цілі числа з масою одиниці для кожного невід'ємного цілого числа. Але ми могли б визначити щільність щодо якоїсь іншої домінуючої міри. У цьому прикладі це буде здаватися штучним, але у великих просторах (функціональних просторах) воно справді принципово! Давайте, для цілей ілюстрації, використовувати конкретний геометричний розподіл, написаний $\lambda$ , з $\lambda(0)=1/2$ , $\lambda(1)=1/4$ , $\lambda(2)=1/8$ і так далі. Тоді щільність розподілу Бернуллі по відношенню до $\lambda$ задається

f_{λ} (x) = p^{x} (1 - p)^{1 - x} \cdot 2^{x + 1}

$f_{\lambda}(x) = p^x (1-p)^{1-x}\cdot 2^{x+1}$ сенс , що

P (X = x) = f_{λ} (x) \cdot λ (x)

$P(X=x)= f_\lambda(x) \cdot \lambda(x)$ З цією новою, домінуючою мірою функцією ймовірності стає (з позначенням зверху)

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} 2^{x_{i} + 1} = p^{y} (1 - p)^{n - y} 2^{y + n}

$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} 2^{x_i+1} = p^y (1-p)^{n-y} 2^{y+n}$ відзначте додатковий коефіцієнт

2^{y + n}

$2^{y+n}$ . Отже, при зміні домінуючої міри, що використовується у визначенні функції ймовірності, виникає нова мультипликативна константа, яка не залежить від невідомого параметра

p

$p$ , і явно не має значення. Це ще один спосіб зрозуміти, як мультиплікативні константи повинні бути неактуальними. Цей аргумент можна узагальнити за допомогою похідних Радона-Нікодима (як наведений вище аргумент - приклад.)

— kjetil b halvorsen
джерело

"інформаційний зміст повинен бути чітко однаковий" Це справедливо лише в тому випадку, якщо ви вірите в принцип ймовірності!

— jsk

Так, можливо, але я показав, як це випливає з байєсівських принципів.

— kjetil b halvorsen

@kjetilbhalvorsen Дякую за продуману відповідь! Я все ще плутаю, чому ймовірність розподілу Бернуллі не включає біноміальний коефіцієнт. Ваша відповідь дає зрозуміти, чому це не має значення, але я не розумію, чому це в першу чергу відсторонено.

— jvans

@jvans: Це тому, що біноміальний коефіцієнт не залежить від невідомого параметра, тому не може впливати на форму функції ймовірності

— kjetil b halvorsen

12

Це в основному означає, що має значення лише відносне значення PDF. Наприклад, стандартний звичайний PDF (гауссова) PDF: , ваша книга говоритьщо вони могли б використовуватизамість цього, тому що вони не піклуються про масштаб, тобто $f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$ $g(x)=e^{-x^2/2}$ . $c=\frac{1}{\sqrt{2\pi}}$

Це відбувається тому, що вони максимізують функцію вірогідності, і і матимуть однаковий максимум. Отже, максимум буде такою ж , як . Отже, вони не турбуються про масштаб. $c\cdot g(x)$ $g(x)$ $e^{-x^2/2}$ $f(x)$

— Аксакал
джерело

6

Я не можу пояснити сенс цитати, але для максимального правдоподібності оцінки, це не має значення , вибираємо ми знайти максимум правдоподібності функції (розглянуту як функцію & або максимум де деяка константа. Це тому, що нас не цікавить максимальне значення а більше значення де цей максимум має місце, і обидва $L(\mathbf x; \theta)$ $\theta$ $aL(\mathbf x; \theta)$ $a$ $L(\mathbf x; \theta)$ $\theta_{\text{ML}}$ і досягає свою максимальну величину при тій же . Отже, мультиплікативні константи можна ігнорувати. Аналогічно, ми могли б вибрати будь-яку монотонну функцію (наприклад, логарифм) функції ймовірності , визначити максимум і зробити висновок про значення $L(\mathbf x; \theta)$ $aL(\mathbf x; \theta)$ $\theta_{\text{ML}}$ $g(\cdot)$ $L(\mathbf x; \theta)$ $g(L(\mathbf x;\theta))$ $\theta_{\text{ML}}$ від цього. Для логарифму множинна константа стає адитивною константою і це теж можна ігнорувати в процесі пошуку місця максимуму: максимізовано на таку ж точку, що і . $a$ $\ln(a)$ $\ln(a)+\ln(L(\mathbf x; \theta)$ $\ln(L(\mathbf x; \theta)$

Якщо перейти до максимальної оцінки апостеріорної ймовірності (MAP), розглядається як реалізація випадкової величини з апріорною функцією густини , дані розглядаються як реалізація випадкової величини та ймовірності функція вважається значення умовної щільності з кондиционированной на & $\theta$ $\Theta$ $f_{\Theta}(\theta)$ $\mathbf x$ $\mathbf X$ $f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$ $\mathbf X$ $\Theta = \theta$ ; згадана функція умовної щільності оцінюється на . Апостеріорна щільність ; є $\mathbf x$ $\Theta$ в якому ми визнаємо чисельник якщільність з'єднанняданих та параметр, що оцінюється. Точкаде досягає свого максимального значення, є оцінкою MAP, і, використовуючи ті ж аргументи, що і в абзаці, ми бачимо, що ми можемо ігноруватиз правого боку

\begin{matrix} (1) & f_{Θ ∣ X} (θ ∣ x) = \frac{f_{X ∣ Θ} (x ∣ Θ = θ) f_{Θ} (θ)}{f_{X} (x)} \end{matrix}

$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x) = \frac{f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)f_\Theta(\theta)}{f_{\mathbf X}(\mathbf x)} \tag{1}$

f_{X, Θ} (x, θ)

$f_{\mathbf X, \Theta}(\mathbf x, \theta)$

θ_{MAP}

$\theta_{\text{MAP}}$

f_{Θ ∣ X} (θ ∣ x)

$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x)$

θ

$\theta$

[f_{X} (x)]^{- 1}

$[f_{\mathbf X}(\mathbf x)]^{-1}$

як мультиплікативна константа так само, як ми можемо ігнорувати мультиплікативні константияк у

і в

. Аналогічно, коли використовуються ймовірності журналу, ми можемо ігнорувати константи добавок.

(1)

$(1)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$

f_{Θ} (θ)

$f_\Theta(\theta)$

— Діліп Сарват
джерело

L

$L$

a L

$aL$

a

$a$

5

$f(x)$ $kf(x)$ share the same critical points.

— Sergio
джерело

3

So do

f (x)

$f(x)$ and

f (x) + 2

$f(x)+2$ but they would not be equivalent likelihood functions

— Henry

Please, as Alecos Papadopoulos writes in his answer, "the likelihood is first a joint probability density function". Because of the iid assumption for random samples, that joint function is a product of simple density functions, so multiplicative factors do arise, addends do not.

— Sergio

1

The joint function is such a product if and only if the data are independent. But MLE extends to dependent variables, so the product argument appears unconvincing.

— whuber

1

I would suggest not to drop from sight any constant terms in the likelihood function (i.e. terms that do not include the parameters). In usual circumstances, they do not affect the $\text {argmax}$ of the likelihood, as already mentioned. But:

There may be unusual circumstances when you will have to maximize the likelihood subject to a ceiling -and then you should "remember" to include any constants in the calculation of its value.

Also, you may be performing model selection tests for non-nested models, using the value of the likelihood in the process -and since the models are non-nested the two likelihoods will have different constants.

Apart from these, the sentence

"Because the likelihood is only defined up to a multiplicative constant of proportionality (or an additive constant for the log-likelihood)"

is wrong, because the likelihood is first a joint probability density function, not just "any" objective function to be maximized.

— Alecos Papadopoulos
джерело

3

Hmmm... When wearing a Bayesian hat, I always thought of the likelihood function as the conditional density function of the data given the parameter and not as a joint probability density function. The location of the maximum of the joint probability density of the data and the parameter (regarded as a function of the unknown parameter

θ

$\theta$ ; the data being fixed) gives the maximum a posteriori probability (MAP) estimate of

θ

$\theta$ , does it not?

— Dilip Sarwate

3

I think you need to be a bit more careful with the language. The likelihood is a function of the parameters for a fixed sample, but is equivalent to the joint density over the sample space. That is,

L (θ ∣ x) = f (x ∣ θ) .

$L(\boldsymbol \theta \mid \boldsymbol x) = f(\boldsymbol x \mid \boldsymbol \theta).$ This will integrate to

1

$1$ over the sample space, but is not necessarily

1

$1$ when integrated over the parameter space. When you say "the likelihood is a density, viewed as a function of the parameters," that makes it sound as if you mean "density with respect to the parameters," which it isn't.

— heropup

1

@heropup I have already wrote that it doesn't necessarily integrate to unity over the parameter space, and so, immediately, it cannot be considered as a "density function" when it is viewed as a "function of the parameters".

— Alecos Papadopoulos

1

Yes, I know. My point is that the phrase "The likelihood function is a density function, viewed as a function of the parameters" is itself confusing. It would be more precise to say something like, "The likelihood function is a function of the parameters for a fixed sample, and is equivalent (or proportional) to the joint density over the sample space."

— heropup

1

@heropup Your desired statement that "The likelihood function ... is equivalent (or proportional) to the joint density over the sample space" would indeed be much more precise but equally incorrect. The likelihood function is neither equivalent nor proportional to the joint density because the "coefficient of proportionality" is not a constant (unless the prior distribution of the unknown parameter is uniformly distributed over an interval). The joint density is

L (x ∣ θ) f (θ)

$L(x\mid \theta)f(\theta)$ where

L

$L$ is the likelihood and

f (θ)

$f(\theta)$ is the prior distribution of the parameter.

— Dilip Sarwate