Скільки обчислення необхідно для розуміння максимальної оцінки ймовірності?

Я намагаюся скласти план навчання для вивчення ПНЖ. Для цього я намагаюся розібратися, який мінімальний рівень обчислення, необхідний для розуміння MLE.

Чи достатньо зрозуміти основи обчислення (тобто знайти мінімум та максимум функцій), щоб зрозуміти MLE?

Щоб розширити свій коментар - це залежить. Якщо ви лише намагаєтесь зрозуміти основи, то, якщо ви зможете знайти екстремальність функцій, ви отримаєте справедливий шлях (хоча у багатьох практичних випадках MLE, ймовірність максимально збільшується, і в цьому випадку вам потрібні інші навички, а також деякі основне числення).

Я залишу осторонь приємні прості випадки, коли ви отримуєте явні алгебраїчні рішення. Незважаючи на це, обчислення часто дуже корисне.

Я візьму на себе незалежність протягом усього часу. Візьмемо найпростіший можливий випадок оптимізації з 1 параметром. Спочатку ми розглянемо випадок, коли ми можемо взяти похідні та відокремити функцію параметра та статистику.

Розглянемо щільність $\rm{Gamma}(\alpha,1)$

$$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$$

Тоді для вибірки розміру $n$ ймовірність така

$$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$$

і тому ймовірність журналу дорівнює

$$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\ $$ $$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\ $$ $$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$$ де$S_x=\sum_{i=1}^n\ln{x_i}$ . Беручи похідні,

$$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\ $$ $$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\ $$ $$= -n\psi(\alpha)+S_x$$

Так що, якщо ми встановлюємо , що до нуля і спробувати вирішити для альфа , ми можемо отримати цю: ψ ( α ) = LN G ( х )$\hat{\alpha}$

$$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\ $$

$\psi(\cdot)$$G(\cdot)$

$\hat{\alpha}$

$$\psi(\hat{\alpha})=g$$

$g=\ln{G(\mathbf{x})}$

Це не має рішення з точки зору елементарних функцій, воно повинно обчислюватися чисельно; принаймні, нам вдалося отримати функцію параметра з одного боку та функцію даних з іншого. Існують різні алгоритми знаходження нуля, які можуть бути використані, якщо у вас немає явного способу вирішення рівняння (навіть якщо ви не маєте похідних, наприклад, є бінарний розділ).

$$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$$ $\mu$

$\theta$

$$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$$

Загалом вірогідність тут не має унікального локального максимуму, а декількох локальних максимумів. Якщо ви виявили на локальний максимум, може бути інший, більше одного в іншому місці. (Іноді люди зосереджуються на визначенні локального максимуму, найближчого до медіани, або якогось такого.)

$(0,\theta)$

В інших випадках простір параметрів може бути дискретним.

Іноді пошук максимуму може бути дуже причетним.

І це лише вибірка проблем з одним параметром. Коли у вас є кілька параметрів, речі знову активізуються.

$\mathbb{R}^p \to \mathbb{R}$

Деякий засіб з логарифмами, безумовно, буде корисним, оскільки максимізувати логарифм ймовірності зазвичай набагато простіше, ніж максимізувати саму ймовірність.

$\mathbb{R}^p \to \mathbb{R}$