MLE для розподілу трикутників?


12

Чи можливо застосувати звичайну процедуру MLE до розподілу трикутників? - Я намагаюся, але, схоже, блокується на тому чи іншому кроці в математиці шляхом визначення розподілу. Я намагаюся використати той факт, що я знаю кількість проб вище та нижче c (не знаючи c): ці 2 числа - cn і (1-c) n, якщо n - загальна кількість зразків. Однак це, здається, не допомагає у виведенні. Момент моментів дає оцінку для c без особливих проблем. Який конкретний характер перешкод для MLE тут (якщо він дійсно є)?

Детальніше:

Розглянемо в [ 0 , 1 ] і розподіл, визначений на [ 0 , 1 ] за: c[0,1][0,1]

якщо x <cf(x;c)=2(1-x)f(x;c)=2xc
якщо c <= x f(x;c)=2(1x)(1c)

Давайте візьмемо зразків n iid { x i } з цього розподілу, імовірність виникнення журналу c задано цим зразком:n{xi}

l^(c|{xi})=i=1nln(f(xi|c))

Тоді я намагаюся використати той факт, що, даючи форму , ми знаємо, що c n зразки впадуть нижче (невідомо) c , а ( 1 - c ) n впадуть вище c . IMHO, це дозволяє розкласти підсумок у виразі ймовірності журналу таким чином:fcnc(1c)nc

l^(c|{xi})=i=1cnln2xic+i=1(1c)nln2(1xi)1c

Тут я не знаю, як діяти. MLE передбачає отримання похідної wrt імовірності log, але я є c як верхня межа підсумовування, яка, здається, блокує це. Я міг би спробувати з іншою формою вірогідності журналу, використовуючи функції індикатора:cc

л^(c|{хi})=i=1н{хi<c}лн2хic+i=1н{c<=хi}лн2(1-хi)1-c

Але порахувати показники теж не представляється простим, хоча дельти Діраку могли б продовжувати (маючи покажчики, оскільки нам потрібно отримувати продукти).

Отже, тут мене заблокували в MLE. Будь-яка ідея?


Якщо це стосується якихось предметів, будь ласка, додайте тег самонавчання. Якщо це не так, поясніть, як виникає проблема.
Glen_b -Встановіть Моніку

Дякуємо за оновлення; набагато простіше говорити розумні речі у відповідь, оскільки це значно скорочує сферу справ, які потрібно розглянути. Чи можете ви, будь ласка, розглянути мій попередній коментар. Або це підпадає під тег самонавчання, або ні, в будь-якому випадку я запитав, чи не робите ви щось.
Glen_b -Встановити Моніку

Це не для домашнього завдання чи заняття. Це виникає у мене на роботі. У нас є ще один оцінювач методу моментів, але я намагаюся глибше зрозуміти, що відбувається з MLE тут.
Френк

Добре; що дає мені більше свободи. Дивіться мою оновлену відповідь. Я, мабуть, незабаром буду робити додаткові доповнення
Glen_b -Встановити Моніку

Додано посилання / посилання
Glen_b -Встановити Моніку

Відповіді:


10

Чи можливо застосувати звичайну процедуру MLE до розподілу трикутників?

Звичайно! Хоча є деякі диваки, з якими можна вирішити, в цьому випадку можна обчислити MLE.

Однак якщо під звичайною процедурою ви маєте на увазі «взяти похідні імовірності журналу та встановити його рівним нулю», то, можливо, ні.

Який конкретний характер перешкод для MLE тут (якщо він дійсно є)?

Ви спробували намалювати ймовірність?

-

Подальші дії після уточнення питання:

Питання про складання ймовірності було не простою коментарем, а центральним у питанні.

MLE передбачає отримання похідної

Ні. MLE включає пошук аргмакса функції. Це включає лише пошук нулів похідної за певних умов ... які тут не дотримуються. У кращому випадку, якщо вам це вдасться, ви визначите кілька місцевих мінімумів .

Як підказувало моє попереднє запитання, подивіться на ймовірність.

Ось зразок, у

0.5067705 0.2345473 0.4121822 0.3780912 0.3085981 0.3867052 0.4177924
0.5009028 0.8420312 0.2588613

Ось функції ймовірності та схожості журналів для cймовірність піку трикутної форми

зрубність для вершини трикутної форми

Сірі лінії позначають значення даних (я, мабуть, повинен був створити новий зразок для кращого розділення значень). Чорні точки позначають вірогідність / схожість журналу цих значень.

Ось збільшити масштаб майже на максимум ймовірності, щоб отримати детальнішу інформацію:

Деталь вірогідності

Як видно з правдоподібності, у багатьох статистичних даних про замовлення функція ймовірності має гострі "кути" - точки, де похідна не існує (що не дивно - оригінальний pdf має кут, і ми беремо продукт pdfs). Це (що є статистичні дані при статистиці замовлень) є випадком трикутного розподілу, і максимум завжди відбувається в одній зі статистики замовлення. (Ці збої трапляються при статистиці замовлень, не характерній лише для трикутних розподілів; наприклад, щільність Лапласа має кут, і як результат, вірогідність його центру має по одній статистиці для кожного замовлення.)

Як це трапляється в моїй вибірці, максимум зустрічається як статистика четвертого порядку, 0,3780912

cc .

Корисна довідка - глава 1 " Позаду бета " Йохана ван Дорпа та Семюеля Коца. Як це буває, Глава 1 - це безкоштовна «зразок» глави книги - завантажити її можна тут .

Про цю проблему з трикутним розподілом, як я вважаю, американський статистик (який, в основному, однаковий момент, є Еди Елі Олівер). Я думаю, що це був куточок вчителя. Якщо мені вдасться його знайти, я подаю це як орієнтир.

Редагувати: ось воно:

Е. Г. Олівер (1972), Максимальна ймовірність дивацтва,
Американський статистик , Том 26, Випуск 3, червень, с43-44

( посилання видавця )

Якщо ви з легкістю можете це впоратися, то варто подивитися, але цей розділ Дорп і Коц охоплює більшість відповідних питань, тому це не є вирішальним.


У відповідь на запитання в коментарях - навіть якщо ви зможете знайти якийсь спосіб «згладити» кути, вам все одно доведеться мати справу з тим, що ви можете отримати кілька локальних максимумів:

два місцевих макс

Однак, можливо, можна знайти оцінювачі, які мають дуже хороші властивості (краще, ніж метод моментів), які ви можете легко записати. Але ML на трикутному на (0,1) - це кілька рядків коду.

Якщо мова йде про величезну кількість даних, з цим теж можна впоратися, але, думаю, буде інше питання. Наприклад, не кожна точка даних може бути максимальною, що зменшує роботу, і деякі інші заощадження можна досягти.


Дякую - я спробую опублікувати свою невдалу спробу, показуючи, про який розподіл я саме говорю і де я думаю, що я заблокований.
Френк

Дякуємо за детальне пояснення! Однак у мене була інша ідея: припустимо, я міг знайти сімейство функцій, яке сходиться до розподілу трикутників, але не було б кусочно - чи можу я використати це, щоб отримати аналітичний MLE, потім взяти ліміт і припустити, що у мене буде MLE власне розподіл трикутника?
Френк

Можливо - я думаю, що це може залежати від конкретного процесу обмеження, який ви використовуєте ... і, швидше за все, ви все ще отримаєте декілька локальних максимумів, тому це, ймовірно, лише заощадить вам, оцінивши ймовірність поблизу статистики екстремального порядку, - але навіть якщо це працював, чому б ти навіть намагався зробити щось таке складне? Що не так з МЛ у трикутному розподілі? Це реально досить просто зробити на практиці.
Glen_b -Встановіть Моніку

2
Треба сказати, що цей MLE для c, заснований на статистиці замовлень, є досить приємним, хоча виведення в розділі вище вимагає певної роботи (хоча і не дуже складно) - приємна ілюстрація того, що суть MLE полягає в аргмаксі (звичайно!), а не похідна (як ви вказали, і я цілком погоджуюся, мені спало на думку працювати над «звичайним» етапом похідної (тобто просто хвилюватися про максимізацію будь-якими способами), але я не переслідував).
Френк

1
хi
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.