Чи означає MLE завжди, що ми знаємо, що лежить в основі нашого PDF, і чи означає EM, що ми цього не робимо?

У мене є кілька простих концептуальних питань, які я хотів би уточнити стосовно MLE (Максимальна оцінка ймовірності), а також те, яке зв’язок воно має, якщо воно є, з EM (Максималізація очікування).

Як я розумію, якщо хтось каже "Ми використовували MLE", чи це автоматично означає, що вони мають чітку модель PDF-файлів своїх даних? Мені здається, що відповідь на це - так. По-іншому, якщо в будь-який час хтось скаже "MLE", справедливо запитати у них, який PDF вони передбачають. Це було б правильно?

Нарешті, щодо ЕМ, я розумію, що в ЕМ ми насправді не знаємо - чи не мусимо знати, основної PDF-даних наших даних. Це моє розуміння.

Дякую.

Метод MLE може бути застосований у випадках, коли хтось знає основну функціональну форму pdf (наприклад, це гауссова, або нормальна для журналу, експоненціальна чи будь-яка інша), але не основні параметри; наприклад, вони не знають значень та в pdf: або будь-який інший тип pdf, який вони передбачають. Завдання методу MLE полягає у виборі найкращих (тобто найбільш правдоподібних) значень для невідомих параметрів, враховуючи конкретні вимірювання даних які насправді спостерігали . Отже, щоб відповісти на ваше перше запитання, так, ви завжди в межах своїх прав запитати когось щоσ f ( x | μ , σ ) = $\mu$$\sigma$х1,х2,х3,. .

$$f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\left[\frac{-(x-\mu)^{2}}{2 \sigma^{2}}\right]$$ $x_{1}, x_{2}, x_{3}, ...$форма pdf, яку вони передбачають для максимальної оцінки ймовірності; Дійсно, оцінені значення параметрів, які вони вам кажуть, навіть не мають сенсу, якщо вони спочатку не передають цей контекст.

Як я вже бачив, алгоритм ЕМ застосовується раніше, це свого роду мета алгоритм, де деякі метадані відсутні, і ви також повинні це оцінити. Так, наприклад, можливо, у мене є pdf, який є сумішшю кількох гауссів, наприклад: поверхово, за винятком додавання параметра амплітуди , це схоже на попередню проблему, але що робити, якщо я сказав вам, що ми навіть не знаємо значення (тобто кількість режимів в гауссовій суміші) і ми хочемо підрахувати, що з вимірювань даних

$$f(x|A_{1},...,A_{N},\mu_{1},...,\mu_{N}, \sigma_{1},...\sigma_{N}) = \sum_{k=1}^{N} \frac{A_{k}}{\sqrt{2\pi\sigma_{k}^{2}}} \exp\left[\frac{-(x-\mu_{k})^{2}}{2 \sigma_{k}^{2}}\right]$$ $A_{k}$$N$$x_{1}, x_{2}, x_{3}, ...$ теж?

У цьому випадку у вас виникає проблема, оскільки кожне можливе значення (це «мета» частина, про яку я нагадав вище) справді породжує іншу модель, в якомусь сенсі. Якщо , то у вас є модель з трьома параметрами ( , , ), тоді як якщо , то у вас є модель з шістьма параметрами ( , , , , , ). Найбільш оптимальні значення, які ви отримаєте для ( , , ) у$N$$N=1$$A_{1}$$\mu_{1}$$\sigma_{1}$$N=2$$A_{1}$$A_{2}$$\mu_{1}$$\mu_{2}$$\sigma_{1}$$\sigma_{2}$$A_{1}$$\mu_{1}$$\sigma_{1}$$N=1$Модель безпосередньо не може порівнюватися із значеннями найкращого пристосування, які ви отримуєте для тих самих параметрів у моделі , оскільки це різні моделі з різною кількістю ступенів свободи .$N=2$

Роль алгоритму EM є створення механізму для створення цих типів порівнянь ( як правило , шляхом накладення «складності штрафу» , який вважає за краще менші значення ) , так що ми можемо вибрати краще загальне значення для .$N$$N$

Отже, щоб відповісти на ваше первісне запитання, алгоритм ЕМ вимагає менш точної конкретизації форми pdf; можна сказати, що він розглядає цілий ряд альтернативних варіантів (наприклад, варіант, де , , і т.д.), але він все ще вимагає вказати щось про основну математичну форму цих варіантів ... Ви все ще повинні в певному сенсі вказати "сімейство" можливих pdfs, навіть якщо ви дозволяєте алгоритму вирішувати для вас, який "член" сім'ї забезпечує найкраще відповідність даним.$N=1$$N=2$$N=3$

MLE вимагає знання принаймні граничних розподілів. Використовуючи MLE, ми зазвичай оцінюємо параметри спільного розподілу, роблячи припущення про iid, потім розподіляючи спільний розподіл як добуток маргіналів, про які ми знаємо. Існують варіанти, але це ідея в більшості випадків. Тож MLE - параметричний метод.

Алгоритм ЕМ - це метод максимізації функцій вірогідності, що з'являються як частина алгоритму MLE. Його часто (як правило?) Використовують для чисельних рішень.

Щоразу, коли ми використовуємо MLE, нам потрібні принаймні граничні розподіли та певне припущення про те, як суглоб пов’язаний з маргіналами (незалежність тощо). Тому обидва методи покладаються на знання розподілів.