Оцінка максимальної вірогідності ЕМ для розподілу Вейбулла

24

Примітка: я публікую запитання колишнього мого студента, який не може самостійно опублікувати з технічних причин.

З огляду на зразок з розподілу Weibull з pdf є корисне відсутність змінної подання і, отже, пов'язаний з ним алгоритм EM (очікування-максимізація), який можна використовувати для пошуку MLE з , а не з використанням прямого чисельна оптимізація? $x_1,\ldots,x_n$

f_{k} (x) = k x^{k - 1} e^{- x^{k}} x > 0

$f_k(x) = k x^{k-1} e^{-x^k} \quad x>0$

f_{k} (x) = \int_{Z} g_{k} (x, z) d z

$f_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z$

k

$k$

— Сіань
джерело

2

Чи є цензура?

— окрам

2

Що не так з рапсоном Ньютона?

— ймовірністьлогічний

2

@probabilityislogic: нічого поганого немає! Мій студент хотів би знати, чи є версія ЕМ, це все ...

— Сіань

1

Чи можете ви навести приклад того, що ви шукаєте в іншому, більш простому контексті, наприклад, можливо, зі спостереженнями за гауссовою або рівномірною випадковою змінною? Коли всі дані спостерігаються, я (і деякі інші афіші, виходячи з їх коментарів) не бачу, наскільки ЕМ має відношення до вашого питання.

— ахфосс

1

@probabilityislogic Я думаю, ти повинен був сказати: "О, ти маєш на увазі, що ти хочеш ВИКОРИСТОВАТИ Ньютона Рафсона?". Вейбули - це звичайні сім’ї… Я думаю, рішення ML є унікальними. Тому EM не має нічого над "E", тому ви просто "M" ing ... і знайти коріння рівнянь балів - це найкращий спосіб зробити це!

— AdamO

7

Я думаю, що відповідь - так, якщо я правильно зрозумів питання.

Запишіть . Тоді ЕМ типу алгоритм ітерації, починаючи з, наприклад , , є $z_i = x_i^k$ $\hat k = 1$

Е ${\hat z}_i = x_i^{\hat k}$
М $\hat k = \frac{n}{\left[\sum({\hat z}_i - 1)\log x_i\right]}$

Це особливий випадок (випадок без цензури та без коваріатів) ітерації, запропонованої для моделей пропорційної небезпеки Вейбулла Еткін та Клейтон (1980). Це також можна знайти у розділі 6.11 Aitkin et al (1989).

Aitkin, M. and Clayton, D., 1980. Пристосування експоненціальних, Вейбульських та екстремальних розподілів величин до складних цензурованих даних про виживання за допомогою GLIM. Прикладна статистика , стор.156-163.
Айткін, М., Андерсон, Д., Френсіс, Б. та Хінде, Дж., 1989. Статистичне моделювання в GLIM . Oxford University Press. Нью-Йорк.

— DavidF
джерело

Велике спасибі Давид! Ставлення до

як до відсутньої змінної ніколи не спадало мені на думку ...!

x_{i}^{k}

$x_i^k$

— Сіань

7

Вейбулла MLE тільки чисельно розв'язана:

Нехай з

f_{λ, β} (х) = {\begin{cases} \frac{β}{λ} {(\frac{х}{λ})}^{β - 1} е^{- {(\frac{х}{λ})}^{β}} & , х \geq 0 \\ 0 & , х < 0 \end{cases}

$f_{\lambda,\beta}(x) = \begin{cases} \frac{\beta}{\lambda}\left(\frac{x}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x}{\lambda}\right)^{\beta}} & ,\,x\geq0 \\ 0 &,\, x<0 \end{cases}$

.

β, λ > 0

$\beta,\,\lambda>0$

1) Likelihoodfunction :

L_{\hat{х}} (λ, β) = \prod_{i = 1}^{N} f_{λ, β} (х_{i}) = \prod_{i = 1}^{N} \frac{β}{λ} {(\frac{х_{i}}{λ})}^{β - 1} е^{- {(\frac{х_{i}}{λ})}^{β}} = \frac{β^{N}}{λ^{N β}} е^{- \sum_{i = 1}^{N} {(\frac{х_{i}}{λ})}^{β}} \prod_{i = 1}^{N} х_{i}^{β - 1}

$\mathcal{L}_{\hat{x}}(\lambda, \beta) =\prod_{i=1}^N f_{\lambda,\beta}(x_i) =\prod_{i=1}^N \frac{\beta}{\lambda}\left(\frac{x_i}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x_i}{\lambda}\right)^{\beta}} = \frac{\beta^N}{\lambda^{N \beta}} e^{-\sum_{i=1}^N\left(\frac{x_i}{\lambda}\right)^{\beta}} \prod_{i=1}^N x_i^{\beta-1}$

лог-Likelihoodfunction :

ℓ_{\hat{х}} (λ, β) : = \ln L_{\hat{х}} (λ, β) = N \ln β - N β \ln λ - \sum_{i = 1}^{N} {(\frac{х_{i}}{λ})}^{β} + (β - 1) \sum_{i = 1}^{N} \ln х_{i}

$\ell_{\hat{x}}(\lambda, \beta):= \ln \mathcal{L}_{\hat{x}}(\lambda, \beta)=N\ln \beta-N\beta\ln \lambda-\sum_{i=1}^N \left(\frac{x_i}{\lambda}\right)^\beta+(\beta-1)\sum_{i=1}^N \ln x_i$

2) Проблема MLE : 3) Максимізаціязаградієнтами:

\begin{aligned} \underset{(λ, β) \in R^{2}}{макс} & ℓ_{\hat{х}} (λ, β) \\ вул λ > 0 \\ β > 0 \end{aligned}

$\begin{equation*} \begin{aligned} & & \underset{(\lambda,\beta) \in \mathbb{R}^2}{\text{max}}\,\,\,\,\,\, & \ell_{\hat{x}}(\lambda, \beta) \\ & & \text{s.t.} \,\,\, \lambda>0\\ & & \beta > 0 \end{aligned} \end{equation*}$

0

$0$

Звідси випливає:

\begin{aligned} \frac{\partial л}{\partial λ} & = - N β \frac{1}{λ} + β \sum_{i = 1}^{N} х_{i}^{β} \frac{1}{λ^{β + 1}} & \overset{!}{=} 0 \\ \frac{\partial л}{\partial β} & = \frac{N}{β} - N \ln λ - \sum_{i = 1}^{N} \ln (\frac{х_{i}}{λ}) е^{β \ln (\frac{х_{i}}{λ})} + \sum_{i = 1}^{N} \ln х_{i} & \overset{!}{=} 0 \end{aligned}

$\begin{align*} \frac{\partial l}{\partial \lambda}&=-N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}}&\stackrel{!}{=} 0\\ \frac{\partial l}{\partial \beta}&=\frac{N}{\beta}-N\ln\lambda-\sum_{i=1}^N \ln\left(\frac{x_i}{\lambda}\right)e^{\beta \ln\left(\frac{x_i}{\lambda}\right)}+\sum_{i=1}^N \ln x_i&\stackrel{!}{=}0 \end{align*}$

\begin{aligned} - N β \frac{1}{λ} + β \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β + 1}} & = 0 \\ - β \frac{1}{λ} N + β \frac{1}{λ} \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β}} & = 0 \\ - 1 + \frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β}} & = 0 \\ \frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β} & = λ^{β} \end{aligned}

$\begin{align*} -N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}} &= 0\\\\ -\beta\frac{1}{\lambda}N +\beta\frac{1}{\lambda}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}} &= 0\\\\ -1+\frac{1}{N}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}}&=0\\\\ \frac{1}{N}\sum_{i=1}^N x_i^\beta&=\lambda^\beta \end{align*}$

\Rightarrow λ^{*} = {(\frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β^{*}})}^{\frac{1}{β^{*}}}

$\Rightarrow\lambda^*=\left(\frac{1}{N}\sum_{i=1}^N x_i^{\beta^*}\right)^\frac{1}{\beta^*}$

Підключення до другого стану градієнта 0: $\lambda^*$

\begin{aligned} \Rightarrow β^{*} = {[\frac{\sum_{i = 1}^{N} x_{i}^{β^{*}} \ln x_{i}}{\sum_{i = 1}^{N} x_{i}^{β^{*}}} - \bar{\ln x}]}^{- 1} \end{aligned}

$\begin{align*} \Rightarrow \beta^*=\left[\frac{\sum_{i=1}^N x_i^{\beta^*}\ln x_i}{\sum_{i=1}^N x_i^{\beta^*}}-\overline{\ln x}\right]^{-1} \end{align*}$

Це рівняння вирішується лише чисельно, наприклад, алгоритм Ньютона-Рафсона. , то можна помістити в , щоб завершити оцінювач ML для розподілу Вейбулла. $\hat{\beta}^*$ $\lambda^*$

— ескор
джерело

11

На жаль, це, здається, не дає жодного помітного відповіді на питання. ОП дуже чітко усвідомлює Ньютон-Рафсон та пов'язані з цим підходи. Доцільність NR жодним чином не перешкоджає існуванню представленої відсутньої змінної або пов'язаного з ним алгоритму ЕМ. На мою оцінку, питання взагалі не стосується чисельних рішень, а скоріше є зондуванням для розуміння, яке могло б стати очевидним, якби був продемонстрований цікавий підхід із змінною зміною.

— кардинал

@cardinal Одне сказати, що існувало лише числове рішення, а інша - показати, що існує лише числове рішення.

— emcor

5

Шановний @emcor, я думаю, що ти можеш нерозуміти те, що задаєш питання. Можливо, перегляд іншої відповіді та пов’язаного потоку коментарів було б корисним. Ура.

— кардинал

@cardinal Я погоджуюся, що це не пряма відповідь, але саме точні вирази для MLE, наприклад, можуть використовуватися для перевірки ЕМ.

— emcor

4

Хоча це старе питання, схоже, що відповідь є у публікації, опублікованій тут: http://home.iitk.ac.in/~kundu/interval-censoring-REVISED-2.pdf

У цій роботі було розглянуто аналіз даних, що цензуруються інтервалом, з розподілом Вейбулла як основного розподілу протягом життя. Передбачається, що механізм цензури є незалежним та неінформативним. Як очікується, максимальну оцінку ймовірності не можна отримати в закритому вигляді. У наших імітаційних експериментах спостерігається, що метод Ньютона-Рафсона може не збігатися багато разів. Запропоновано алгоритм максимізації очікування для обчислення максимальної оцінки ймовірності, і він конвергується майже весь час.

— user3204720
джерело

1

Чи можете ви опублікувати повне посилання на папір за посиланням, якщо він загине?

— gung - Відновити Моніку

1

Це алгоритм EM, але не робити те , що я вважаю , що ОП хоче. Швидше, Е-крок імпулює цензуровані дані, після чого на етапі М використовується алгоритм фіксованої точки з повним набором даних. Тож М-крок не знаходиться в закритому вигляді (що, на мою думку, шукає ОП).

— Кліф АВ

1

@CliffAB: дякую за посилання (+1), але насправді ЕМ, природно, викликається в цій роботі цензурною частиною. Мій колишній студент шукав просту безцензурну оптимізацію ймовірності Вейбула за допомогою ЕМ.

— Сіань

-1

$k^{(t)}$

$k_1$ $k_2$

— ахфос
джерело

6

Я думаю, що ви, можливо, неправильно трактували точку питання, а саме: Чи існує якась відсутність змінної інтерпретації, з якої можна було б отримати задану ймовірність Вейбула (і яка дозволила б застосувати EM-подібний алгоритм)?

— кардинал

4

Постановка питання в посту @ Xi'an досить чітка. Я думаю, що причина, на яку не отримали відповіді, полягає в тому, що будь-яка відповідь, ймовірно, нетривіальна. (Це цікаво, тому я б хотів, щоб у мене було більше часу на це подумати.) У будь-якому випадку ваш коментар видається непорозумінням алгоритму ЕМ. Можливо, протиотрутою послужить наступне:

— кардинал

6

f (x) = π φ (x - μ_{1}) + (1 - π) φ (x - μ_{2})

$f(x) = \pi \varphi(x-\mu_1) + (1-\pi) \varphi(x-\mu_2)$

φ

$\varphi$

F (x) = \int_{- \infty}^{x} f (u) d u

$F(x) = \int_{-\infty}^x f(u)\,\mathrm{d}u$

U_{1}, \dots, U_{n}

$U_1,\ldots,U_n$

X_{i} = F^{- 1} (U_{i})

$X_i = F^{-1}(U_i)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

4

R^{2} \times [0, 1]

$\mathbb{R}^2 \times [0,1]$

k

$k$

k x^{k - 1} e^{- x^{k}}

$k x^{k-1}e^{-x^k}$

— ахфосс

3

Z_{i}

$Z_i$

X_{i} = 1_{(Z_{i} > μ)}

$X_i = \mathbf{1}_{(Z_i > \mu)}$