Неможлива проблема оцінки?

Питання

Дисперсія негативного біноміального розподілу (NB) завжди більша за середню. Коли середнє значення вибірки більше, ніж його дисперсія, спроба пристосувати параметри НБ з максимальною вірогідністю або з моментом оцінки не вдасться (рішення з кінцевими параметрами не існує).

Однак можливо, що вибірка, взята з розподілу НБ, має значення більше, ніж дисперсія. Ось відтворюваний приклад у Р.

set.seed(167)
x = rnbinom(100, size=3.2, prob=.8);
mean(x) # 0.82
var(x) # 0.8157576

Існує ненульова ймовірність, що НБ створить вибірку, параметри якої неможливо оцінити (методами максимальної вірогідності та моменту).

Чи можна дати гідні оцінки для цього зразка?
Що говорить теорія оцінки, коли оцінки не визначені для всіх вибірок?

Про відповідь

Відповіді @MarkRobinson та @Yves дали мені зрозуміти, що параметризація - це головне питання. Щільність ймовірності NB зазвичай записується як

або як

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} (1 - p)^{r} p^{k}

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!}(1-p)^rp^k$

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} {(\frac{r}{r + m})}^{r} {(\frac{m}{r + m})}^{k} .

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!} \left(\frac{r}{r+m}\right)^r \left(\frac{m}{r+m}\right)^k.$

За першою параметризацією максимальна оцінка ймовірності дорівнює кожного разу, коли дисперсія вибірки менша за середню, тому нічого не можна сказати про . Під другим це , тому ми можемо дати розумну оцінку . Нарешті, @MarkRobinson показує, що ми можемо вирішити проблему нескінченних значень за допомогою $(\infty, 0)$ $p$ $(\infty, \bar{x})$ $m$ $\frac{r}{1+r}$ замість . $r$

На закінчення, з цією проблемою оцінки немає нічого принципово неправильного, за винятком того, що ви не завжди можете дати змістовні інтерпретації і для кожного зразка. Для справедливості, ідеї присутні в обох відповідях. Я вибрав те, що @MarkRobinson, як правильний для доповнень, які він дає. $r$ $p$

estimation maximum-likelihood negative-binomial

— gui11aume
джерело

Неправильно стверджувати, що максимальна ймовірність провалюється в такому випадку. Тільки моменти можуть зіткнутися з труднощами.

— Сіань

@ Xi'an Чи можете ви розширити? Ймовірність цього зразка не має максимуму в області

(також див. Це, наприклад). Я щось пропускаю? У будь-якому випадку, якщо ви можете дати ML оцінки параметрів для цього випадку, я оновлю питання.

(0, \infty) \times (0, 1)

$(0,\infty) \times (0,1)$

— gui11aume

Ймовірність може мати свій максимум на нескінченній відстані при

. Аналогічна проблема, але з більш простою діагностикою, пов'язана з розподілом Lomax : відомо, що оцінка ML для форми є нескінченною, коли зразок має коефіцієнт варіації

. Але ймовірність цієї події є позитивною для будь-якого розміру вибірки і є досить сильною для, скажімо,

та

p \to 0

$p \to 0$

r \to \infty

$r \to \infty$

CV < 1

$\text{CV} < 1$

α = 20

$\alpha = 20$

n = 200

$n = 200$

— Ів

@Yves Дякую за цей інший приклад (про який я не знав). Що люди роблять у цьому випадку?

— gui11aume

У прикладі Ломакса деякі люди вирішили використовувати експоненціальний розподіл, який є граничним для

та

. Це зводиться до прийняття нескінченної оцінки ML. Заради інваріантності шляхом повторної параметризації я вважаю, що нескінченні параметри можуть мати сенс у деяких випадках. Для вашого прикладу NB те саме відбувається, якщо ми вирішили використати розподіл Пуассона, що виникає внаслідок

α \to \infty

$\alpha \to \infty$

λ / α \to θ > 0

$\lambda / \alpha \to \theta >0$

r p / (1 - p) \to λ

$rp/(1-p) \to \lambda$

— Ів

Відповіді:

В основному для вашої вибірки оцінка параметра розміру знаходиться на межі простору параметрів. Можна також розглянути питання про репараметризацію, таку як d = size / (size + 1); коли розмір = 0, d = 0, коли розмір має тенденцію до нескінченності, d наближається до 1. Виходить, що для заданих вами параметрів оцінки розмірів нескінченності (d близькі до 1) трапляються приблизно в 13% часу для Оцінки ймовірності профілів коригуваного профілю Cox-Reid (APL), що є альтернативою оцінкам MLE для NB (приклад, показаний тут) . Оцінки середнього параметра (або "проба") здаються нормальними (див. Рисунок, сині лінії - це справжні значення, червона крапка - це оцінка для вашого насіння = 167 вибірки). Більш детально про теорію APL ви знайдете тут .

Отже, я б сказав до 1.: Оцінки параметрів пристойного можуть бути .. розмір = нескінченність або дисперсія = 0 - це розумна оцінка з огляду на вибірку. Розглянемо інший простір параметрів, і оцінки будуть кінцевими.

— Марк Робінсон
джерело

Дякуємо, що приєдналися до сайту, щоб відповісти на моє запитання! Деталі вірогідності профілів Cox-Reid виглядають дуже перспективно.

— gui11aume

$p \to 0$ $r \to \infty$ $\Theta := (0,\,1)\times(0,\,\infty)$ $\lambda >0$ $[p,\,r] \in \Theta$ $p \to 0$ $r \to \infty$ $rp/(1-p) \to \lambda$ . Ймовірність того, що максимальна ймовірність знайдена на межі, не дорівнює нулю.

Аналогічна проблема, але з більш простою діагностикою, пов'язана з розподілом Lomax : відомо, що оцінка форми ML нескінченна, коли зразок має коефіцієнт варіації $\text{CV} < 1$ . Але ймовірність цієї події є позитивною для будь-якого розміру вибірки, і є, наприклад $>0.3$ для $\alpha = 20$ і $n = 200$ .

Властивості ML мають великий розмір вибірки: за умов регулярності показано, що оцінка ML є унікальною та має тенденцію до істинного параметра. Однак для заданого кінцевого розміру вибірки оцінка ML може не існувати в домені, наприклад, тому що максимум досягнуто на кордоні. Він також може існувати у домені, який більше, ніж той, який використовується для максимізації.

У прикладі Ломакса деякі люди вирішили використовувати експоненціальний розподіл, що є межею для $\alpha \to \infty$ і $\lambda / \alpha \to \theta >0$ . Це зводиться до прийняття нескінченної оцінки ML. Оскільки Lomax - це спеціальна перепараметризація двопараметричного узагальненого розподілу парето $\text{GPD}(\sigma,\,\xi)$ with shape $\xi >0$ , we could as well fit a GPD, then finding $\widehat{\xi} < 0$ instead of the exponential $\widehat{\xi} = 0$ . For the NB example, we can chose to fit a Poisson distribution thus accepting a boundary value of the NB parameter.

For the sake of invariance by re-parameterization, I believe that infinite parameters can make sense in some cases.

— Yves
джерело