Який краще максимальна ймовірність чи гранична ймовірність і чому?

Виконуючи регресію, якщо йти за визначенням: Яка різниця між частковою ймовірністю, профільною ймовірністю та граничною ймовірністю?

що, Максимальна ймовірність
Знайти β і θ, що максимізує L (β, θ | дані).

Тоді як гранична ймовірність
ми інтегруємо θ з рівняння ймовірності, використовуючи той факт, що ми можемо ідентифікувати розподіл ймовірності θ, умовного на β.

Яка краща методика максимізації та чому?

regression maximum-likelihood

— Анкіт Чіплункар
джерело

Відповіді:

Кожен із них дасть різні результати з різною інтерпретацією. Перший знаходить пару , яка найбільш вірогідна, а друга знаходить яка (незначно) найбільш вірогідна. Уявіть, що ваш розподіл виглядає так: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

Тоді максимальна відповідь на ймовірність - ( ), тоді як максимальна гранична ймовірність відповіді - (оскільки, маргіналізація над , ). $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

Я б сказав, що загалом гранична ймовірність часто є тим, що ви хочете - якщо ви дійсно не піклуєтесь про значення параметрів , то вам слід просто обвалитися над ними. Але, ймовірно, на практиці ці методи не дадуть дуже різних результатів - якщо вони є, то це може вказувати на деяку основну нестабільність у вашому рішенні, наприклад, на кілька режимів з різними комбінаціями , які всі дають подібні прогнози. $\theta$ $\beta$ $\theta$

— Кріс
джерело

Я знайшов різні результати для методів максимальної / граничної ймовірності, і отже, питання. Я б сказав, що два мої результати дають різні інтерпретації, але можливі результати.

— Анкіт Чіплункар

Я зараз сам стикаюся з цим питанням. Ось результат, який може бути корисним. Розглянемо лінійну модель

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

де а і - цікаві параметри. Спільна ймовірність така $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

Оптимізація прибутковості імовірності суглобів

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

де являє собою псевдообернених і є необхідною залишковий вектор. Відзначимо , що в ми маємо замість звичних ступенями свободи коригується співвідношення . Як відомо, цей оцінювач є упередженим у випадку з кінцевим зразком. $X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

$\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

Використовуючи елементарну лінійну алгебру та інтегральну формулу Гаусса, ви можете це показати

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

Це має виправлення ступенів свободи, що робить його неупередженим і загалом прихильним до спільної оцінки ПЗ.

З цього результату можна запитати, чи є щось по суті вигідне в інтегральній ймовірності, але я не знаю жодних загальних результатів, які б відповіли на це питання. Думається, що інтегрована ПН краще враховувати невизначеність у більшості проблем з оцінкою. Зокрема, якщо ви оцінюєте величину, яка залежить від інших оцінок параметрів (навіть неявно), то інтеграція за іншими параметрами краще враховуватиме їх невизначеність.

— Пол
джерело

β

$\beta$

β

$\beta$

β

$\beta$

Насправді, виходячи з цього повідомлення та коментарів до нього, я думаю, що інтегрований ML, а не граничний ML - це правильний термін для того, що ми тут робимо. Відредаговано відповідно.

— Павло

+1 Я знаю, що я запізнююся з цією партією, але не інтегрую з фіксованих ефектів, поставивши перед ними неправильну уніформу саме те, що робить REML, тому ви фактично тільки отримали оцінку REML, і ця корекція df - саме та чому тут REML краще для менших зразків?

— jld

@Chaconne так, цей пост був мотивований спробою зрозуміти REML! У мене (майже) немає офіційної освіти з статистики, тому виведення цього було для мене все новим.

— Пол

$\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ $\beta$

— Седа
джерело