Приклади, де метод моментів може перемогти максимальну ймовірність у невеликих зразках?

57

Максимальні оцінки вірогідності (MLE) є асимптотично ефективними; ми бачимо практичний підсумок у тому, що вони часто роблять краще, ніж метод моментних оцінок (MoM) (коли вони різняться), навіть при невеликих розмірах вибірки

Тут "краще, ніж" означає в сенсі, як правило, має меншу дисперсію, коли обидві є неупередженими, і, як правило, меншою середньоквадратичною помилкою (MSE) загалом.

Питання, однак, виникає:

Чи бувають випадки, коли МО може перемогти MLE - на MSE , скажімо - невеликими зразками?

(де це не якась дивна / вироджена ситуація - тобто з огляду на те, що умови існування ML / / можуть бути асимптотично ефективними)

Наступним питанням буде: "наскільки великим може бути малий?" - тобто, якщо є приклади, чи є такі, які все ще зберігаються при відносно великих розмірах вибірки, можливо, навіть усіх кінцевих розмірів вибірки?

[Я можу знайти приклад упередженого оцінювача, який може перемогти ML у обмежених зразках, але це не MoM.]

Зауважте, додано ретроспективно: моя увага зосереджена насамперед на універсальній справі (саме звідки походить моя основна цікавість). Я не хочу виключати багатоваріантні випадки, але я також особливо не хочу вникати в розширені дискусії щодо оцінки Джеймса-Штейна.

— Glen_b
джерело

Нема проблем; це трапляється з усіма нами, і зі мною частіше, ніж ти. Я, мабуть, мав би сказати це прямо у назві, але це було вже досить довго.

— Glen_b

@cardinal Я вже зробив критерії чіткішими.

— Glen_b

3

Є й інші способи, за допомогою яких метод моментів може «перемогти» максимальну ймовірність. Наприклад, у задачах з оцінкою суміші звичайної суміші MLE, як відомо, важко обчислити, в той час як MM це не так.

— vqv

@vqv Звичайно, це сенс, в якому MoM може бути кращим.

— Glen_b

2

Оскільки я схильний співчувати плебеям, я повідомляю, що у зразку iid Uniforms

оцінювач MoM для

має однаковий MSE з патриціантом (MLE), якщо розмір вибірки дорівнює

, або

. .. Але, на жаль, для більших розмірів вибірки патрицій знову підтверджує свій суверенітет ...

U (0, θ)

$U(0,\theta)$

θ

$\theta$

1

$1$

2

$2$

— Алекос Пападопулос

36

Це може вважатися ... обманом, але Оцінювач OLS є оцінкою MoM. Розглянемо стандартну специфікацію лінійної регресії (з стохастичними регресорами , тому величини залежать від матриці регресора) та вибірку розміру . Позначимо Оцінювач OLS дисперсії терміна помилки. Це неупереджено $K$ $n$ $s^2$ $\sigma^2$

M S E (s^{2}) = Var (s^{2}) = \frac{2 σ^{4}}{n - K}

$MSE(s^2) = \operatorname {Var}(s^2) = \frac {2\sigma^4}{n-K}$

Розглянемо тепер MLE з . це є $\sigma^2$

Це упереджено. Його MSE є

{\hat{σ}}_{M L}^{2} = \frac{n - K}{n} s^{2}

$\hat \sigma^2_{ML} = \frac {n-K}{n}s^2$

висловлюючи MLE з точки зору МНК і використовуючи вираз для МНК ми отримуємо дисперсію

M S E ({\hat{σ}}_{M L}^{2}) = Var ({\hat{σ}}_{M L}^{2}) + [E ({\hat{σ}}_{M L}^{2}) - σ^{2}]^{2}

$MSE (\hat \sigma^2_{ML}) = \operatorname {Var}(\hat \sigma^2_{ML}) + \Big[E(\hat \sigma^2_{ML})-\sigma^2\Big]^2$

M S E ({\hat{σ}}_{M L}^{2}) = {(\frac{n - K}{n})}^{2} \frac{2 σ^{4}}{n - K} + {(\frac{K}{n})}^{2} σ^{4}

$MSE (\hat \sigma^2_{ML}) = \left(\frac {n-K}{n}\right)^2\frac {2\sigma^4}{n-K} + \left(\frac {K}{n}\right)^2\sigma^4$

\Rightarrow M S E ({\hat{σ}}_{M L}^{2}) = \frac{2 (n - K) + K^{2}}{n^{2}} σ^{4}

$\Rightarrow MSE (\hat \sigma^2_{ML}) = \frac {2(n-K)+K^2}{n^2}\sigma^4$

Ми хочемо, щоб умови (якщо вони існували), за яких

M S E ({\hat{σ}}_{M L}^{2}) > M S E (s^{2}) \Rightarrow \frac{2 (n - K) + K^{2}}{n^{2}} > \frac{2}{n - K}

$MSE (\hat \sigma^2_{ML}) > MSE (s^2) \Rightarrow \frac {2(n-K)+K^2}{n^2} > \frac {2}{n-K}$

\Rightarrow 2 (n - K)^{2} + K^{2} (n - K) > 2 n^{2}

$\Rightarrow 2(n-K)^2+K^2(n-K)> 2n^2$

2 n^{2} - 4 n K + 2 K^{2} + n K^{2} - K^{3} > 2 n^{2}

$2n^2 -4nK + 2K^2 +nK^2 - K^3 > 2n^2$

- 4 n + 2 K + n K - K^{2} > 0 \Rightarrow K^{2} - (n + 2) K + 4 n < 0

$-4n + 2K +nK - K^2 > 0 \Rightarrow K^2 - (n+2)K + 4n < 0$

K

$K$

Δ_{K} = (n + 2)^{2} - 16 n = n^{2} + 4 n + 4 - 16 n = n^{2} - 12 n + 4

$\Delta_K = (n+2)^2 -16n = n^2 + 4n + 4 - 16n = n^2 -12n + 4$

n

$n$

Δ_{n} = 12^{2} - 4^{2} = 8 \cdot 16

$\Delta_n = 12^2 - 4^2 = 8\cdot 16$

n_{1}, n_{2} = \frac{12 \pm \sqrt{8 \cdot 16}}{2} = 6 \pm 4 \sqrt{2} \Rightarrow n_{1}, n_{2} = {1, 12}

$n_1,n_2 = \frac {12\pm \sqrt{8\cdot 16}}{2} = 6 \pm 4\sqrt2 \Rightarrow n_1,n_2 = \{1, 12\}$

n

$n$

n

$n$

Δ_{K} < 0

$\Delta_K <0$

K

$K$

K_{1}, K_{2} = \frac{(n + 2) \pm \sqrt{n^{2} - 12 n + 4}}{2} = \frac{n}{2} + 1 \pm \sqrt{{(\frac{n}{2})}^{2} + 1 - 3 n}

$K_1, K_2 = \frac {(n+2)\pm \sqrt{n^2 -12n + 4}}{2} = \frac n2 +1 \pm \sqrt{\left(\frac n2\right)^2 +1 -3n}$

$n>12$ $K$ $\lceil K_1\rceil <K<\lfloor K_2\rfloor$

M S E ({\hat{σ}}_{M L}^{2}) > M S E (s^{2})

$MSE (\hat \sigma^2_{ML}) > MSE (s^2)$

n = 50

$n=50$

5 < K < 47

$5<K<47$ за нерівність дотримуватися. Цікаво, що для невеликої кількості регресорів MLE краще в MSE сенсі.

$K$

K_{1}, K_{2} = (\frac{n}{2} + 1) \pm \sqrt{{(\frac{n}{2} + 1)}^{2} - 4 n}

$K_1, K_2 = \left(\frac n2 +1\right) \pm \sqrt{\left(\frac n2 +1\right)^2 -4n}$

5

$5$

5

$5$

— Алекос Пападопулос
джерело

1

E (u^{'} u ∣ X) = σ^{2}

$E(u'u\mid X) = \sigma^2$

E (u^{'} u ∣ X)

$E(u'u \mid X)$

σ^{2}

$\sigma^2$

1

n

$n$

n - K

$n - K$

E [X_{k} (Y - X β)] = 0

$E[X_k(Y - X \beta)] = 0$

E [(Y - X β)^{2}] = σ^{2}

$E[(Y - X\beta)^2] = \sigma^2$

n

$n$ у знаменнику.

— хлопець

2

n - K

$n-K$

n

$n$

1

@guy (CONTD). Тож, про що ви говорите, це те, що оцінювач MoM відхилення помилок у цьому випадку є максимальною оцінкою ймовірності, і тому результат, який я отримав, порівнює не МО з ML, а ML з OLS (останній є категорією самостійно). .. так, можна стверджувати, що це (також) справа.

— Алекос Пападопулос

1

e

$e$

E (e^{2}) = \frac{n - k}{n} σ^{2}

$E(e^2)=\frac{n-k}{n}\sigma^2$

σ^{2}

$\sigma^2$

s^{2}

$s^2$

17

"У цій статті ми розглядаємо нову параметризацію двопараметричного зворотного гауссового розподілу. Ми знаходимо оцінки параметрів оберненого гауссового розподілу методом моментів та методом максимальної вірогідності. Потім ми порівнюємо ефективність Оцінювачі двох методів на основі їх зміщення та середньої квадратичної помилки (MSE). Для цього ми фіксуємо значення параметрів, запускаємо моделювання та повідомляємо MSE та зміщення для оцінок, отриманих обома методами. Висновок полягає в тому, що коли розміри вибірки становлять 10, метод моментів, як правило, є більш ефективним, ніж метод максимальної ймовірності для оцінок обох параметрів (лямбда і тета) .... " читати далі

Сьогодні не можна (або не слід) довіряти всьому опублікованому, але остання сторінка газети видається багатообіцяючою. Сподіваюсь, це адреса вашої записки додана заднім числом.

— Зимує
джерело

1

θ

$\theta$

Гарна знахідка! Навіть якщо результати вимкнено, приємно бачити, де претензія явно десь зазначена.

— Бен Огорек

Документ, на який я посилався у своїй відповіді, походить з магістерської дисертації, яка доступна у повному обсязі тут: digi.library.tu.ac.th/thesis/st/0415 . Шість людей, у тому числі доцент, підписалися на цей результат.

— Зимує

14

Відповідно до симуляцій, проведених Хоскінгом та Уоллісом (1987) у «Оцінці параметрів та квантилів для узагальненого розподілу парето», параметри двопараметричного узагальненого розподілу Парето, задані cdf

$G(y)= \begin{cases} 1-\left(1+ \frac{\xi y}{\beta} \right)^{-\frac{1}{\xi}} & \xi \neq 0 \\ 1-\exp\left(-\frac{y}{\beta}\right) & \xi=0 \end{cases}$

або щільність

$g(y)= \begin{cases} \frac{1}{\beta} \left( 1+\frac{\xi y}{\beta} \right)^{-1-\frac{1}{\xi}} & \xi \neq 0 \\ \frac{1}{\beta} \exp\left(-\frac{y}{\beta} \right) & \xi=0 \end{cases}$

є більш надійними, якщо їх оцінюють за допомогою MOM на відміну від ML. Це стосується зразків до розміру 500. Оцінки MOM даються за допомогою

$\widehat\beta = \frac{\overline y \overline{y^2}}{2(\overline{y^2} - (\overline y)^2)}$

і

$\widehat\xi = \frac{1}{2} - \frac{(\overline y)^2}{2(\overline{y^2} - (\overline y)^2)}$

з

$\overline{y^2} = \frac{1}{n} \sum_{i=1}^n y_i^2$

У роботі є досить багато помилок (принаймні, моя версія). Результати для оцінок MOM, наведені вище, були люб’язно надані "heropup" у цій темі .

— Джоз
джерело

Дякую за це Це один із найпростіших прикладів того, що я до цього часу шукав.

— Glen_b

13

Я знайшов одне:

Для асиметричного експоненціального розподілу потужності

f (x) = \frac{α}{σ Γ (\frac{1}{α})} \frac{κ}{1 + κ^{2}} \exp (- \frac{κ^{α}}{σ^{α}} [(x - θ)^{+}]^{α} - \frac{1}{κ^{α} σ^{α}} [(x - θ)^{-}]^{α}), α, σ, κ > 0, and x, θ \in R

$f(x) = \frac{\alpha}{\sigma\Gamma(\frac{1}{\alpha})} \frac{\kappa}{1+\kappa^2}\exp\left(-\frac{\kappa^\alpha}{\sigma^\alpha}[(x-\theta)^+]^\alpha -\frac{1}{\kappa^\alpha \sigma^\alpha}[(x-\theta)^-]^\alpha\right)\,,\quad \alpha,\sigma,\kappa>0, \text{ and } x,\theta\in \mathbb R$

$\theta$ $\sigma$

Delicado and Goria (2008),
Невеликий вибірковий порівняння методів максимальної ймовірності, моментів та L-моментів для асиметричного експоненціального розподілу потужності,
Журнал обчислювальної статистики та аналіз даних
Том 52, випуск 3, січень, с. 1661-1673

(також див. http://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf )

— Glen_b
джерело

13

Метод моментів (ММ) може перемогти максимальну ймовірність (ML) підхід, коли можна вказати лише деякі моменти сукупності. Якщо розподіл не визначено, оцінки ML не будуть послідовними.

Припускаючи кінцеві моменти та ідентичні спостереження, ММ може забезпечити хороших оцінювачів із приємними асимптотичними властивостями.

$X_1, \ldots, X_n$ $X \sim f$ $f: \mathbb{R} \to \mathbb{R}_+$ $\nu_k = \int_{\mathbb{R}} x^k f(x)dx$ $k$ $\nu_4$

$\bar{X_k} = \frac{1}{n}\sum_{i=1}^n X_i^k$ $\nu_8 < \infty$

\sqrt{n} (\bar{X_{4}} - ν_{4}) \overset{d}{\to} N (0, ν_{8} - ν_{4}^{2}),

$\sqrt{n}(\bar{X_4} - \nu_4) \stackrel{d}{\to} N(0, \nu_8 - \nu_4^2),$

\overset{d}{\to}

$\stackrel{d}{\to}$

\frac{\sqrt{n} (\bar{X_{4}} - ν_{4})}{\sqrt{\bar{X_{8}} - {\bar{X_{4}}}^{2}}} \overset{d}{\to} N (0, 1)

$\frac{\sqrt{n}(\bar{X_4} - \nu_4)}{\sqrt{\bar{X_8} - \bar{X_4}^2}} \stackrel{d}{\to} N(0, 1)$

\bar{X_{8}} - {\bar{X_{4}}}^{2} \overset{P}{\to} ν_{8} - ν_{4}^{2}

$\bar{X_8} - \bar{X_4}^2 \stackrel{P}{\to} \nu_8 - \nu_4^2$

$\nu_4$ $f$

Модельне дослідження:

Патріота та ін. (2009) провели деякі імітаційні дослідження, щоб перевірити коефіцієнти відхилення тестувань гіпотез у моделі помилок у змінних. Отримані результати свідчать про те, що підхід ММ виробляє коефіцієнти помилок за нульовою гіпотезою ближче до номінального рівня, ніж ML для малих вибірок.

Історична записка:

Метод моментів був запропонований К. Пірсоном у 1894 р. «Внески в математичну теорію еволюції». Метод максимальної вірогідності був запропонований Р.А. Фішером у 1922 р. "Про математичні основи теоретичної статистики". Обидва статті, де опубліковані в «Філософських транзакціях Лондонського королівського товариства», серія А.

Довідка:

Фішер, Р.А. (1922). Про математичні основи теоретичної статистики, Філософські операції Лондонського королівського товариства, серія A, 222, 309-368.

Патріота, А.Г., Болфарін, Н, де Кастро, М (2009). Модель гетероскедастичних структурних помилок змінних з похибкою рівняння, Статистична методологія 6 (4), 408-423 ( pdf )

Пірсон, К (1894). Внески до математичної теорії еволюції, філософських транзакцій Лондонського королівського товариства, серія A, 185, 71-110.

— Олександр Патріота
джерело

1

Ваша відповідь звучить як потенційно цікава. Чи можете ви трохи розширитись на ньому? Я не впевнений, що цілком бачу.

— Glen_b

@Glen_b, будь ласка, перевірте, чи допоможе вам моє останнє доповнення.

— Олександр Патріота

Дякую за це; Я вірю, що я бачу, до чого ти потрапляєш.

— Glen_b

Гаразд, це загальний коментар, але я думаю, він відповідає на ваше запитання. Якщо ви надаєте загальну інформацію про поведінку даних, то цілком природно, що підхід ML є перевершує підхід MM. У роботі [1] ми проводимо деякі імітаційні дослідження для перевірки швидкості відхилення тестувань гіпотез у моделі помилок у змінних. Отримані результати свідчать про те, що підхід ММ виробляє коефіцієнти помилок за нульовою гіпотезою ближче до номінального рівня, ніж ML для малих вибірок. [1] ime.usp.br/~patriota/STAMET-D-08-00113-revision-v2.pdf

— Александр Патріота

Це нетиповий приклад методу моментів (МО). MoM зазвичай розгортається в задачах параметричного оцінювання, де існує чітко визначене параметричне сімейство розподілів. З іншого боку, тут можна визначити непараметричну оцінку максимальної ймовірності. Емпірична функція розподілу, скажімо, F-hat, - непараметрична оцінка максимальної ймовірності невідомої функції розподілу F. Вважаючи, що 4-й момент є функціоналом F, непараметричний MLE 4-го моменту є 4-м моментом F-hat . Це те саме, що і зразок 4-го моменту.

— vqv

5

Додаткові джерела на користь MOM:

Hong, HP та W. Ye. 2014. Аналіз екстремальних наземних снігових навантажень для Канади з використанням записів глибини снігу . Природні небезпеки 73 (2): 355-371.

Використання MML може дати нереалістичні прогнози, якщо розмір вибірки невеликий (Hosking et al. 1985; Martin and Stedinger 2000).

Мартінс, Е.С. та Дж. Р. Стедінгер. 2000. Узагальнені максимально вірогідні узагальнені кількісні оцінювачі граничних значень для гідрологічних даних . Дослідження водних ресурсів 36 (3): 737-744.

Анотація:

Трипараметричне узагальнене надзвичайне значення (GEV) поширення знайшло широке застосування для опису річних повеней, опадів, швидкості вітру, висот хвиль, глибин снігу та інших максимумів. Попередні дослідження показують, що малі вибіркові оцінки максимальної ймовірності (MLE) параметрів нестабільні, і рекомендують L-моменти. Більш недавні дослідження показують, що метод оцінок кількісних моментів моментів має для −0,25 <κ <0,30 меншу похибку кореневого середнього квадрата, ніж L моменти та MLE. Вивчення поведінки MLE в малих зразках демонструє, що абсурдні значення параметра GEV-форми κ можуть генеруватися. Використання байєсівського попереднього розподілу для обмеження значень κ до статистично / фізично обґрунтованого діапазону в узагальненому аналізі максимальної ймовірності (GML) усуває цю проблему.

У розділах «Огляд вступу та літератури» вони цитують додаткові документи, в яких робиться висновок про те, що MOM в деяких випадках перевершує MLE (знову ж, моделювання екстремальних значень), наприклад

Хоскінг та ін. [1985a] показують, що невеликі вибіркові оцінки параметрів MLE є дуже нестабільними, і рекомендують оцінювачі, зважені на ймовірність, (PWM), еквівалентні L-моментальним оцінкам [Hosking, 1990]. [...]

Хоскінг та ін. [1985a] показало, що оцінювачі ймовірнісно зважених моментів (PM) або еквівалентних L моментів (LM) для розподілу GEV є кращими, ніж оцінки максимальної ймовірності (MLE) з точки зору зміщення та дисперсії для розмірів вибірки, що змінюються від 15 до 100. Зовсім недавно Madsen та ін. [1997a] показало, що метод кількісних оцінок моментів (MOM) має менший RMSE (кореневий середній-квадратний рр) на -0,25 <K <0,30, ніж LM та MLE, при оцінці події 100 років для розмірів вибірки 10-50 . MLE є кращими лише тоді, коли K> 0,3 та розміри вибірки скромні (n> = 50).

K (kappa) - параметр форми GEV.

документи, які фігурують у цитатах:

Хоскінг Дж, Уолліс Дж, Вуд Е (1985) Оцінка узагальненого екстремального значення розподілу методом вірогідно зважених моментів . Технометрія 27: 251–261.

Мадсен, Х., П. Ф. Расмуссен та Д. Росб'єрг (1997) Порівняння методів максимумів річних серій та часткових тривалостей для моделювання екстремальних гідрологічних подій , 1, Моделювання на місці, Водний ресурс. Рез., 33 (4), 747-758.

Хоскінг, JRM, L-моменти: Аналіз та оцінка розподілів за допомогою лінійних комбінацій статистики замовлень , JR Stat. Соц., Сер. Б, 52, 105-124, 1990.

Крім того, я маю той самий досвід, що був зроблений у вищенаведених статтях, у випадку моделювання екстремальних подій з малим та помірним розміром вибірки (<50-100, що є типовим) менший RMSE.

— Арпі
джерело

3

У процесі відповіді на це: Оцінюючи параметри для бінома, я наткнувся на цей документ:

Ingram Olkin, A John Petkau, James V Zidek: Порівняння N оцінок для біноміального розподілу. Яса 1981р.

$N$ $\text{Bin}(N,p)$ $p$

— kjetil b halvorsen
джерело

Одне, що дуже приємно в цьому прикладі, це те, що дуже просто передати ситуацію - багато людей знайомі з двочленним (принаймні, в концепції, якщо не завжди з назвою).

— Glen_b