Максимальна оцінка вірогідності для усіченого розподілу

Розглянемо незалежних зразків отриманих із випадкової величини яка передбачається, що вона має усічений розподіл (наприклад, усічений нормальний розподіл ) відомих (кінцевих) мінімальних і максимальних значень і але невідомих параметрів та . Якби дотримувався нерізаного розподілу, максимальна оцінка ймовірності та для та із була б середньою вибіркою $N$ $S$ $X$ $a$ $b$ $\mu$ $\sigma^2$ $X$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $S$ $\widehat\mu = \frac{1}{N} \sum_i S_i$ і вибіркова дисперсія . Однак для усіченого розподілу визначена дисперсія вибірки, визначена таким чином, обмежена тому вона не завжди є послідовною оцінкою: для вона не може сходитись вірогідно до як переходить до нескінченності. Отже, здається, що та не є максимально вірогідними оцінками та для усіченого розподілу. Звичайно, цього можна очікувати, оскільки та $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ $(b-a)^2$ $\sigma^2 > (b-a)^2$ $\sigma^2$ $N$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $\mu$ $\sigma^2$ Параметри усіченого нормального розподілу - не його середнє значення та дисперсія.

Отже, які максимальні ймовірності оцінок параметрів та усіченого розподілу відомих мінімальних та максимальних значень? $\mu$ $\sigma$

— a3nm
джерело

Ви впевнені у своєму аналізі? Я думаю, ви робите неправдиве припущення: для усіченої ситуації MLE більше не є дисперсією вибірки (і, загалом, MLE вже не означає вибірку)!

σ^{2}

$\sigma^2$

μ

$\mu$

— whuber

whuber: Я знаю, це саме моє запитання: що таке MLE з та в усіченому випадку? Додайте речення, щоб наполягати на цьому.

σ^{2}

$\sigma^2$

μ

$\mu$

— a3nm

Не існує рішення закритої форми. Все, що ви можете зробити, це чисельно мінімізувати ймовірність журналу. Але це якісно не відрізняється від багатьох інших моделей, таких як логістична регресія, які також не мають рішення закритої форми.

— whuber

whuber: Якщо це правда, це дуже невтішно. Чи є у вас посилання на відсутність рішень закритої форми? Чи є оцінювачі закритої форми, які не мають максимальної ймовірності, але є принаймні послідовними (і необов'язково об'єктивними?).

— a3nm

@whuber: Чи можете ви принаймні спростити ваші вибірки до достатньої статистики, щоб мінімізація була швидкою?

— Ніл Г

Розглянемо будь -яку сім'ю масштабу локації, визначену "стандартним" розподілом , $F$

Ω_{F} = {F_{(μ, σ)} : x \to F (\frac{x - μ}{σ}) ∣ σ > 0} .

$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$

Припускаючи, що відрізняється, ми легко знаходимо, що PDF-файли є . $F$ $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

Обрізання цих дистрибутивів для обмеження їх підтримки між і , , означає, що PDF-файли замінюються на $a$ $b$ $a \lt b$

f_{(μ, σ; a, b)} (x) = \frac{f (\frac{x - μ}{σ}) d x}{σ C (μ, σ, a, b)}, a \leq x \leq b

$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$

(і дорівнює нулю для всіх інших значень ), де є нормуючим фактором, необхідним для забезпечення інтеграції в одиницю. (Зверніть увагу, що однаково за відсутності усікання.) Імовірність журналу для iid даних отже, є $x$ $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ $f_{(\mu, \sigma; a, b)}$ $C$ $1$ $x_i$

Λ (μ, σ) = \sum_{i} [\log f (\frac{x_{i} - μ}{σ}) - \log σ - \log C (μ, σ, a, b)] .

$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$

Критичні точки (включаючи будь-які глобальні мінімуми) знаходяться там, де або (особливий випадок я тут ігнорую), або градієнт зникає. Використовуючи підписники для позначення похідних, ми можемо формально обчислити градієнт і записати рівняння ймовірності як $\sigma=0$

\begin{aligned} 0 & = \frac{\partial Λ}{\partial μ} & = \sum_{i} [\frac{- f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} - \frac{C_{μ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \\ 0 & = \frac{\partial Λ}{\partial σ} & = \sum_{i} [\frac{- f_{σ} (\frac{x_{i} - μ}{σ})}{σ^{2} f (\frac{x_{i} - μ}{σ})} - \frac{1}{σ} - \frac{C_{σ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \end{aligned}

$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$

Оскільки і є фіксованими, їх із позначень і запишіть як і як . (Без відсікання обидві функції будуть однаково нульовими.) Відокремлення доданків, що містять дані, від решти дає $a$ $b$ $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $A(\mu,\sigma)$ $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $B(\mu, \sigma)$

\begin{aligned} - A (μ, σ) & = \sum_{i} \frac{f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \\ - σ^{2} B (μ, σ) - n σ & = \sum_{i} \frac{f_{σ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \end{aligned}

$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$

Порівнюючи їх із ситуацією без укорочення, видно, що

Будь-яка достатня статистика для вихідної проблеми є достатньою для усіченої проблеми (оскільки права частина не змінилася).
Наша здатність знаходити замкнуту форму рішення залежить від поступливості від і . Якщо вони не включають та простими способами, ми не можемо сподіватися отримати рішення закритої форми в цілому. $A$ $B$ $\mu$ $\sigma$

У випадку звичайної сім'ї звичайно, задається накопичувальним нормальним PDF, що є різницею помилок: немає шансів, що рішення закритої форми може бути отримані загалом. Однак є лише дві достатні статистичні дані (середнє значення вибірки та дисперсія будуть), і CDF настільки ж гладкий, як це може бути, тому числові рішення отримати досить просто. $C(\mu,\sigma,a,b)$

— дзижчати
джерело

Велике спасибі за цю дуже детальну відповідь! Я не впевнений, що я розумію, що таке , , та , чи могли б ви їх визначити? Крім того, це очевидно, але якщо бути точним, можливо, ви можете сказати, що ваше вираження для pdf означає (а pdf - поза цим). Знову дякую!

f_{μ}

$f_\mu$

f_{σ}

$f_\sigma$

C_{μ}

$C_\mu$

C_{σ}

$C_\sigma$

x \in [a, b]

$x \in [a, b]$

— a3nm

Звичайна довша позначення - тощо: як було оголошено, це похідна. Я зроблю другу запропоновану вами зміну, оскільки це важливе уточнення, дякую.

C_{μ} = \frac{\partial}{\partial μ} C (μ, σ, a, b)

$C_\mu = \frac{\partial}{\partial\mu}C(\mu,\sigma,a,b)$

— whuber

Крім того, оскільки ваша відповідь є загальнішою за ту, яку я очікував, я відредагував своє запитання, щоб менше наполягати на випадку звичайних розподілів. Ще раз дякую за ваші зусилля.

— a3nm

На цьому рівні загальності було легше пояснити порівняно з фокусуванням на нормальних розподілах! Обчислення похідних та показ точної форми CDF - це непотрібні відволікання (хоча корисні, коли ви починаєте фактично кодувати числове рішення).

— whuber

Дякуємо за виправлення! Ви пропустили одну з них; Ви можете переглянути мою редакцію?

— a3nm