Інтуїтивно зрозумілі аргументи, що стоять за упередженими оцінками максимальної ймовірності

25

У мене плутанина щодо упереджених оцінок максимальної ймовірності (ML). Математика цілого поняття для мене досить чітка, але я не можу зрозуміти інтуїтивно зрозумілі міркування.

Враховуючи певний набір даних, який має вибірки з розподілу, який сам є функцією параметра, який ми хочемо оцінити, ML-оцінка приводить до значення параметра, який, швидше за все, виробляє набір даних.

Я не можу інтуїтивно зрозуміти упереджений оцінювач ML в тому сенсі: як найімовірніше значення параметра може передбачити реальне значення параметра з ухилом до неправильного значення?

maximum-likelihood bias

— ssah
джерело

Можливий дублікат оцінки максимальної правдоподібності (MLE) у

— прості

Я думаю, що фокус на упередженості тут може відрізняти це питання від запропонованого дубліката, хоча вони, безумовно, дуже тісно пов'язані.

— Срібна рибка

14

Оцінювач ML призводить до значення для параметра, який, найімовірніше, має місце в наборі даних.

Враховуючи припущення, Оцінювач ML - це значення параметра, який має найкращі шанси створити набір даних.

Я не можу інтуїтивно зрозуміти упереджений оцінювач ML в тому сенсі, "як найбільш ймовірне значення параметра може передбачити реальне значення параметра з ухилом до неправильного значення?"

Упередження стосується очікувань вибіркових розподілів. "Швидше за все, для отримання даних" не йдеться про очікування вибіркових розподілів. Чому від них слід було б піти разом?

Яка основа, на якій дивно, що вони не обов'язково відповідають?

Я б запропонував вам розглянути кілька простих випадків MLE і задуматися, як різниця виникає в цих конкретних випадках.

Як приклад, розглянемо спостереження щодо рівномірного на . Найбільше спостереження (обов'язково) не більше параметра, тому параметр може приймати значення, принаймні такі ж великі, як і найбільші спостереження. $(0,\theta)$

Якщо врахувати ймовірність , вона (очевидно) більша, чим ближче до найбільшого спостереження. Таким чином, він максимізується при найбільшому спостереженні; це однозначно оцінка для яка максимально збільшує шанс отримати зразок, який ви отримали: $\theta$ $\theta$ $\theta$

введіть тут опис зображення

Але з іншого боку, він повинен бути упередженим, оскільки найбільше спостереження очевидно (з вірогідністю 1) менше, ніж справжнє значення ; будь-яка інша оцінка яка вже не виключається самим зразком, повинна бути більшою, ніж вона, і повинна (цілком очевидно в цьому випадку) мати меншу ймовірність отримати вибірку. $\theta$ $\theta$

Очікування найбільшого спостереження від дорівнює , тому звичайний спосіб його відхилення - це взяти за оцінку : , де - найбільше спостереження. $U(0,\theta)$ $\frac{n}{n+1}$ $\theta$ $\hat\theta=\frac{n+1}{n}X_{(n)}$ $X_{(n)}$

Це лежить праворуч від MLE і тому має меншу ймовірність.

— Glen_b -Встановити Моніку
джерело

Дякую за вашу відповідь. Щодо першої частини я висловився неправильно. Я в основному мав на увазі те, що ти сказав. Виходячи з вашої відповіді на другу частину, чи можу я зробити висновок, що, враховуючи інший набір даних, отриманих з одного і того ж розподілу, чи оцінювач ML призведе до іншого зміщення? Оскільки ви говорите, що Оцінювач ML - це той, який "швидше за все" видає дані. Якщо ми змінимо дані, якийсь інший оцінювач, швидше за все, може створити їх. Це правильно?

— ssah

Оцінювач не зміниться, якщо форма розподілу населення не зміниться. Деякі інші оцінки будуть виготовлені з іншою вибіркою, і сума, на яку вона буде зміщена, як правило, буде різною - зміщення зазвичай пов'язане з розміром вибірки, навіть якщо популяція однакова. ... (

— ctd

(ctd) ...

$\quad$

m

$m$

n

$n$

θ

$\theta$

Добре використовувати канонічний приклад, щоб побачити різницю між неупередженими та ML-оцінками.

— jwg

6

$\beta^{MLE}$ $\beta$ $\beta$ $\beta^{MLE}$

$\frac{N}{N-1}$

— Мастеров Дмитро Васильович
джерело

Вибачте за помилку в першій частині. Я відредагував і виправив. Але щодо того, що ви сказали про MLE, чому б він був упередженим в першу чергу в неасимптотичному випадку?

— ssah

2

"Краще" залежить від того, на що ти дивишся; Виправлення Бесселя робить його неупередженим, але неупередженість сама по собі не є автоматично "кращою" (наприклад, MSE гірша; наприклад, чому я віддаю перевагу об'єктивності меншим MSE?). Неупередженість можна вважати кращою, при інших рівних умовах , але, на жаль, цетерис не буде парусом .

— Glen_b -Встановіть Моніку

Я розумів, що об'єктивний оцінювач може бути показаний найкращим об'єктом через зв'язок між MLE та нижньою межею Cramer-Rao.

— Мастеров Дмитро Васильович

@ssah Мені сказали, що це тому, що ми використовуємо середнє значення вибірки замість справжнього середнього у формулі. Якщо чесно, я ніколи не вважав це пояснення особливо інтуїтивним, тому що якщо Оцінювач середнього значення середнього значення є неупередженим, чому це має піти не так? Зазвичай я закладаю сумніви за допомогою симуляції.

— Мастеров Дмитро Васильович

5

Ось моя інтуїція.

Зсув - це міра точності , але існує також поняття точності .

введіть тут опис зображення

В ідеальному світі ми отримаємо оцінку, яка є одночасно точною і точною, тобто завжди потрапляє в очі бику. На жаль, у нашому недосконалому світі ми маємо збалансувати точність та точність. Іноді ми можемо відчути, що ми могли б дати трохи точності, щоб отримати більшу точність: ми постійно працювали на компромісі. Отже, той факт, що оцінювач упереджений, не означає, що це погано: можливо, він є більш точним.

— Аксакал
джерело