Які розподіли мають рішення закритої форми для максимальної оцінки ймовірності?

21

Які розподіли мають рішення закритої форми для максимальної оцінки ймовірності параметрів із вибірки незалежних спостережень?

distributions mathematical-statistics maximum-likelihood

— Полковник паніка
джерело

25

Без будь-якої помітної втрати загальності можна вважати, що щільність (або маса) ймовірності $f(x_i)$ для будь-якого спостереження $x_i$ (з $n$ спостережень) суворо позитивна, що дозволяє нам записати це як експоненціальне

f (х_{i}) = досвід (г (х_{i}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

для вектора параметрів $\theta = (\theta_j)$ .

Прирівнюючи градієнт функції ймовірності журналу до нуля (який знаходить стаціонарні точки ймовірності, серед яких будуть усі внутрішні глобальні максимуми, якщо такі існують) дає набір рівнянь форми

\sum_{i} \frac{г г (х_{i}, θ)}{г θ_{j}} = 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

по одному для кожного . Щоб будь-який з них мав готове рішення, ми хотіли б мати можливість відокремити терміни від доданків . (Все витікає з цієї ключової ідеї, мотивованої Принципом математичної ліні . Робіть якомога менше роботи; подумайте заздалегідь перед обчисленням; спочатку вирішіть прості версії важких проблем.) Найбільш загальний спосіб зробити це, щоб рівняння взяли форма $j$ $x_i$ $\theta$

\sum_{i} (η_{j} (θ) τ_{j} (х_{i}) - α_{j} (θ)) = η_{j} (θ) \sum_{i} τ_{j} (х_{i}) - н α_{j} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

для відомих функцій , і , тоді рішення отримують шляхом розв’язання одночасних рівнянь $\eta_j$ $\tau_j$ $\alpha_j$

\frac{н α_{j} (θ)}{η_{j} (θ)} = \sum_{i} τ_{j} (х_{i})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

для . Загалом, це буде важко вирішити, але за умови набору значень $\theta$ дає повну інформацію про, ми могли б просто використати цей векторзамість(тим самим дещо узагальнюючи ідею рішення «закритої форми», але високопродуктивним способом). У такому випадку інтегруючи по відношенню доврожайності $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

г (х, θ) = τ_{j} (х) \int^{θ} η_{j} (θ) г θ_{j} - \int^{θ} α_{j} (θ) г θ_{j} + Б (х, θ_{j}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

$\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ $A(\theta)$

г (х, θ) = Н (θ) Т (х) - А (θ) + Б (х) .

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

Щільності, які можна записати у цій формі, складають відому родину Коопмана-Пітмана-Дармуа , або експоненціальну . Він включає важливі параметричні сімейства, як безперервні, так і дискретні, включаючи Гамма, Нормальний, Хі-квадрат, Пуассон, Мультиноміальний та багато інших .

— дзижчати
джерело

А для тих, хто не має закритих форм, ми могли б використовувати алгоритм Е. М. Наприклад, розглянемо нульовий нагнітаний пуассоновий

— Damien

0

Я не знаю, чи міг би я їх усіх перелічити. Приходять в голову експоненціальні, нормальні та двочленні, і всі вони належать до класу експоненціальних сімей. Експоненціальна сім'я має достатню статистику в експоненті, і млекозамінники часто є хорошою функцією цієї достатньої статистики.

— Майкл Р. Черник
джерело

8

Це питання є надзвичайно широким, але, здається, ОП може задати питання, що характеризує розподіл, який має рішення закритого типу для MLE, а не просити вичерпний список. У будь-якому випадку, вичерпний список навіть неможливий.

— Макрос

2

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$

a

$a$

b

$b$

Думає Ніл для того, щоб вказати на це. Я думаю, не всі експоненціальні сімейні розподіли мають рішення закритої форми.

— Майкл Р. Черник