Оцінка параметрів t-розподілу Стьюдента

23

Які є максимально вірогідні оцінки параметрів t-розподілу Стьюдента? Чи існують вони в закритому вигляді? Швидкий пошук Google не дав мені жодних результатів.

Сьогодні мене цікавить універсальний випадок, але, напевно, мені доведеться поширити модель на кілька вимірів.

EDIT: Мене найбільше цікавлять параметри місця та масштабу. На даний момент я можу припустити, що параметр ступенів свободи є фіксованим, і, можливо, використовувати якусь числову схему, щоб пізніше знайти оптимальне значення.

estimation maximum-likelihood t-distribution

— Грзеніо
джерело

Наскільки мені відомо, вони не існують у закритому вигляді. Може знадобитися підхід типу градієнта.

— Пат

Хоча розподіл Student t має один параметр, ви посилаєтесь на "параметри" у множині. Ви, можливо, включаєте параметри місця та / або масштабу?

— whuber

@whuber, дякую за коментар, мене справді цікавлять параметри місця та масштабу, більше ніж ступеня свободи.

— Grzenio

Маючи даних, рівняння ймовірності для параметра розташування є алгебраїчно еквівалентним многочлену ступеня . Чи вважаєте ви нуль такого многочлена заданим у закритій формі?

n

$n$

2 n - 1

$2n-1$

— whuber

@whuber, чи існують якісь особливі випадки для малого n, наприклад n = 3?

— Grzenio

27

Закрита форма не існує для T, але дуже інтуїтивно зрозумілий і стабільний підхід здійснюється через алгоритм ЕМ. Тепер, оскільки студент - це масштабна суміш нормалей, ви можете написати свою модель як

y_{i} = μ + e_{i}

$y_i=\mu+e_i$

де і . Це означає, що умовно на млерах є лише середньозважене середнє і стандартне відхилення. Це крок "М" $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

Тепер крок "Е" замінює його очікуванням з урахуванням усіх даних. Це дано як: $w_i$

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

тому ви просто повторіть вищевказані два кроки, замінивши "праву частину" кожного рівняння на поточні оцінки параметрів.

Це дуже легко показує властивості стійкості розподілу t, оскільки спостереження з великими залишками отримують меншу вагу в розрахунку на розташування і обмежений вплив при обчисленні . Під "обмеженим впливом" я маю на увазі, що внесок у оцінку для з i-го спостереження не може перевищувати заданий поріг (це в алгоритмі EM). Також є параметром "стійкості", оскільки збільшення (зменшення) призведе до більшої (меншої) рівномірної ваги і, отже, більшої (меншої) чутливості до людей, що втрачають силу. $\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

Слід зазначити, що функція вірогідності журналу може мати більше однієї стаціонарної точки, тому алгоритм ЕМ може переходити в локальний режим замість глобального. Локальні режими, ймовірно, знайдуться, коли параметр розташування запускається занадто близько до сторонніх. Отже, починаючи з медіани - це хороший спосіб уникнути цього.

— ймовірністьіслогічна
джерело

1

Це круто. Я бавився з ідеєю пристосувати студент до використання ЕМ деякий час саме з тієї причини, що це схоже на суміш гаусів. Чи є у вас цитування / посилання на рівняння оновлення, які ви даєте? Наявність цього ще більше посилить дивовижність цієї посади.

— Пат

Насправді, я думаю, я знайшов його сам, для сумішальної моделі студентських t (яку я так буду використовувати для матеріалів): Суміші t-дистрибутивів Student як міцна основа для жорсткої реєстрації. Деметриос Герогіаніс, Христофорос Ніку, Арістідіс Лікас. Образне обчислення та бачення 27 (2009) 1285–1294.

— Пат

Посилання в моїй відповіді на це питання має дуже загальну основу ЕМ для навантажень і навантажень вірогідних функцій - квантильну, студентську, логістичну та загальну регресію. Ви конкретний випадок - "регресія" без коваріатів - лише перехоплення - так добре вписується в цю рамку. Крім того, існує велика кількість штрафних термінів, які ви можете включити в цю рамку.

— ймовірністьлогічний

@probabilityislogic дійсно акуратно! А що робити, якщо також невідомо? Чи можете ви також дати посилання? Можливо, найкраще тут: stats.stackexchange.com/questions/87405/…

ν

$\nu$

— Кварц,

Я думаю, що ця посилання краща, ніж у @ Pat's. "ОЦІНЮВАННЯ РОЗМІСТЮВАННЯ РОЗПОДІЛУ ЗА ВИКОРИСТАННЯМ ЕМ ТА ЇЇ РОЗШИРЕННЯМ, ECM І ECME." Ви повинні бути дуже уважними щодо вибору початкового значення параметра під час виконання алгоритму ЕМ через локальну оптимальну проблему. Іншими словами, ви повинні знати щось про свої дані. Зазвичай я уникаю використання розподілу t у своїх дослідженнях.

4

У наступному документі вирішено саме проблему, яку ви опублікували.

Лю С. та Рубін DB 1995. "Оцінка ML розподілу t за допомогою ЕМ та його розширень, ECM та ECME". Statistica Sinica 5: 19–39.

Він забезпечує загальну оцінку параметрів багатовимірного t-розподілу зі знанням ступеня свободи або без неї. Процедуру можна знайти в Розділі 4, і вона дуже схожа на ймовірнісні для 1-мірної.

— мічшіх
джерело

7

Це здається, що папір, на яку ви посилаєтесь, містить корисну відповідь на запитання, але відповіді краще, коли вони стоять самостійно і не потребують зовнішніх ресурсів (ось, наприклад, можливо, що ОП чи читачі не мають доступу до цього документу ). Чи можете ви трохи уточнити свою відповідь, щоб зробити її самостійнішою?

— Патрік Куломбе

3

Сумніваюся, що він існує у закритому вигляді: якщо ви записуєте будь-який із факторів вірогідності як і візьміть ln цього, ви отримаєте нелінійне рівняння в . Навіть якщо вам вдасться знайти рішення, то залежно від кількості факторів (термінів) , рівняння MLE буде залежати від цього нетривіальним чином. Все, що різко спрощує, звичайно, коли

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$

ν

$\nu$

n

$n$

n

$n$

ν \to \infty

$\nu \rightarrow \infty$ , коли влада наближається до експоненції (Гауссова PDF).

— Лукозаде
джерело

1

Навіть в умовах Гаусса вірогідність колоди за своїми параметрами нелінійна :-).

— whuber

Мене насправді цікавлять параметри місця та масштабування, більше ніж ступеня свободи. Будь ласка, перегляньте правки до питання, і вибачте, що не є точним.

— Grzenio

2

Нещодавно я виявив оцінювач закритої форми для шкали розподілу Стьюдента. Наскільки мені відомо, це новий внесок, але я б вітаю коментарі, що пропонують будь-які пов'язані результати. У статті описаний метод у контексті сімейства "сполучених експоненціальних" розподілів. Студентський t називається сполученим гауссом, де термін сполучення є зворотним ступенем свободи. Статистика закритої форми - це геометричне середнє для зразків. Припускаючи значення з’єднання або ступінь свободи, оцінку шкали визначають шляхом множення геометричного середнього зразків на функцію, що включає з'єднання та гармонічне число.

https://arxiv.org/abs/1804.03989 Використання геометричного середнього в якості статистики для шкали сполучених гауссових розподілів, Кенрік П. Нельсон, Марк А. Кон, Сабір Р. Умаров

— Кенрік
джерело