Як рівномірний попередній результат призводить до однакових оцінок з максимальної ймовірності та режиму заднього?

Я вивчаю різні методи точкового оцінювання і читаю, що при використанні оцінок MAP проти ML, коли ми використовуємо "єдиний попередній", оцінки однакові. Чи може хтось пояснити, що таке "рівномірний" пріоритет, і навести кілька (простих) прикладів, коли оцінки MAP та ML будуть однаковими?

— користувач1516425
джерело

@AndreSilva MAP = Максимум a posteriori - режим заднього

— Glen_b -Встановити Моніку

Подивіться тут: math.stackexchange.com/questions/1327752/…

— Royi

Відповіді:

Це рівномірний розподіл (або безперервний, або дискретний).

Дивись також

http://en.wikipedia.org/wiki/Point_estimation#Bayesian_point-estimation

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

Якщо ви використовуєте рівномірний попередній набір, який містить MLE, то MAP = MLE завжди. Причиною цього є те, що за цією попередньою структурою задній розподіл та ймовірність пропорційні.

— КАРТА
джерело

На мій погляд, це хороша відповідь. Можливо, варто додати, що причина того, що задній розподіл та ймовірність пропорційні, полягає в тому, що задній розподіл сам пропорційний добутку ймовірності та попереднього. Коли пріоритет приймає всюди те саме значення, що і при рівномірному розподілі, тоді задній розподіл просто пропорційний ймовірності.

— TooTone

@TooTone Я також додав би пункт про неправильність.

— Стефан Лоран

Уніфікований попередній може розглядатися як надання набору користувачів або однакова ймовірність для кожного класу, який ви намагаєтеся передбачити. Наприклад, якщо у нас є проблема двох класів і розподіл для позитивних прикладів становить 10% (тобто попередня ймовірність 0,1), ми можемо встановити рівномірний попередній показник для позитивних випадків 0,5, щоб подолати ефект дисбалансу оригіналу розповсюдження.

— soufanom

Зауважте, при рівномірному до MAP та ML стикаються лише в тому випадку, якщо однаковий попередній показник перевищує дійсні значення параметра. А саме, якщо параметр є безперервним і попередній є рівномірним лише в [0, 1], він не буде утримуватися.

— Рой

@Drazick: добре зауваження. Це насправді «гірше», ніж це, а саме (значення) ПДР залежить від вибору домінуючого заходу, як пояснено в цій статті Друіхлета та Маріна .

— Сіань

MLE - це оцінка виникнення даної події, заданої параметром, тоді як MAP - оцінка параметра, заданого подією. Коли ми будемо використовувати теорему Байєса далі, оцінюючи MAP, вона зводиться до $P(D|\theta)P(\theta)$ де $P(\theta)$ є єдиним додатковим терміном щодо MLE. Середня оцінка та дисперсія MAP буде такою ж, як середня та дисперсійна оцінка MLE, оскільки Prior залишається однаковим кожен раз і взагалі не змінюється. Таким чином, він діє лише як константа і, таким чином, не грає ніякої ролі у впливі на значення середньої та дисперсії.

— gg1782191
джерело

(-1) Максимальна оцінка ймовірності (параметра) - це оцінка параметра, а не "оцінка настання події". Залишок відповіді теж дещо плутається / заплутаний, наприклад, незрозуміло, на що йдеться «середнє значення та дисперсія».

— Juho Kokkala

@Tim, чи можете ви надати доказ (або контур), який показує The mean and variance estimate of MAP will be same as mean and variance estimate of MLE? Спасибі

— curious_dan

@curious_dan теорема Байєса є

p (θ | X) \propto p (X | θ) p (θ)

$p(\theta|X) \propto p(X|\theta) p(\theta)$ , якщо

p (θ) \propto 1

$p(\theta) \propto 1$ є рівномірним, то зводиться до

p (θ | X) \propto p (X | θ) \times 1

$p(\theta|X) \propto p(X|\theta) \times 1$ , значить, ви лише максимізуєте ймовірність, тож це те саме, що і MLE.

— Тім

спасибі, @ Тім --- Я можу зрозуміти , чому це вірно для максимального / очікуваного значення, але це не ясно , для мене різниця буде тим же

— curious_dan

@curious_dan варіація чого? Це стосується будь-якого параметра, який ви оцінюєте.

— Тім