Яка різниця між частковою ймовірністю, профільною ймовірністю та граничною ймовірністю?

56

Я бачу, що ці терміни використовуються, і я постійно змішую їх. Чи є просте пояснення відмінностей між ними?

estimation maximum-likelihood

57

Функція ймовірності зазвичай залежить від багатьох параметрів. Залежно від програми нас зазвичай цікавить лише підмножина цих параметрів. Наприклад, при лінійній регресії інтерес зазвичай лежить у коефіцієнтах нахилу, а не у дисперсії помилок.

Позначимо параметри, які нас цікавлять, як $\beta$ а параметри, які не є первинними, як $\theta$ . Стандартний спосіб підходу до проблеми оцінки полягає в максимізації функції ймовірності, щоб ми отримали оцінки $\beta$ і $\theta$ . Однак, оскільки основний інтерес полягає у $\beta$ частковій, профільна та гранична ймовірність пропонують альтернативні способи оцінювання $\beta$ без оцінки $\theta$ .

Для того, щоб побачити різницю, позначте стандартну ймовірність через $L(\beta, \theta|\mathrm{data})$ .

Максимальна ймовірність

Знайдіть $\beta$ і $\theta$ які максимізують $L(\beta, \theta|\mathrm{data})$ .

Часткова ймовірність

Якщо ми можемо записати функцію ймовірності як:

L (β, θ | d a t a) = L_{1} (β | d a t a) L_{2} (θ | d a t a)

$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$

$L_1(\beta|\mathrm{data})$

Імовірність профілю

$\theta$ $\beta$ $\theta$

$\theta = g(\beta)$

L (β, g (β) | d a t a)

$L(\beta, g(\beta)|\mathrm{data})$

Гранична ймовірність

$\theta$ $\theta$ $\beta$

— febstar
джерело

2

Зауважте, що останнє визначення тут - це інтегрована (або байєсівська) ймовірність, а не гранична ймовірність.

— АРС

Чи правильно це в РЗС для часткової ймовірності: "L2 (θ | theta)"?

— jpalecek

@ars, будь ласка, відредагуйте відповідь та надайте визначення граничної ймовірності тоді?

— Вальдір Леонсіо

13

Усі три використовуються при роботі з параметрами неприємностей у повністю заданій функції ймовірності.

Гранична ймовірність є основним методом усунення неприємних параметрів в теорії. Це справжня функція вірогідності (тобто пропорційна (гранична) ймовірність спостережуваних даних).

Часткова вірогідність взагалі не є справжньою ймовірністю. Однак у деяких випадках це може трактуватися як ймовірність асимптотичного умовиводу. Наприклад, у моделях пропорційної небезпеки Кокса, де вони виникли, нас цікавлять спостережувані ранжирування в даних (T1> T2> ..), не вказуючи базову небезпеку. Ефрон показав, що часткова ймовірність втрачає мало інформації, що не стосується різних функцій небезпеки.

Імовірність профілю зручна, коли ми маємо багатовимірну функцію вірогідності та єдиний цікавий параметр. Він задається шляхом заміни неприємності S на його MLE на кожен фіксований T (параметр, що цікавить), тобто L (T) = L (T, S (T)). Це може спрацювати добре на практиці, хоча можливий ухил у MLE, отриманий таким чином; гранична ймовірність виправляє цю зміщення.

— ар
джерело