Чому методи регресії з найменшими квадратами та максимальною ймовірністю не є еквівалентними, коли помилки зазвичай не поширюються?

Назва говорить все це. Я розумію, що найменші квадрати та максимальна ймовірність дадуть однаковий результат для коефіцієнтів регресії, якщо помилки моделі нормально розподіляються. Але що станеться, якщо помилки нормально не поширюються? Чому ці два методи вже не рівнозначні?

Коротка відповідь

Щільність ймовірності багатоваріантної розподіленої гауссової змінної , із середнім пов'язана з квадратом евклідового відстань між середнім значенням та змінною ( ), або іншими словами сума квадратів.$x=(x_1, x_2,...,x_n)$$\mu=(\mu_1,\mu_2,...,\mu_n)$$\vert \mu-x \vert_2^2$

---

Довга відповідь

Якщо ви помножите кілька гауссових розподілів на свої помилок, де ви припускаєте рівні відхилення, то ви отримаєте суму квадратів.$n$

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

або у зручній логарифмічній формі:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

Таким чином, оптимізація для мінімізації суми квадратів дорівнює максимізації ймовірності (log) (тобто добутку множинних гауссових розподілів або багатоваріантного розподілу Гаусса).$\mu$

Саме цей вкладений квадрат різниці всередині експоненціальної структури, , якого інші розподіли не мають.$(\mu-x)$$exp\left[ (x_i-\mu)^2 \right]$

---

Порівняйте, наприклад, з випадком розподілу Пуассона

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

який має максимум, коли мінімізується наступне:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

який є іншим звіром.

---

Крім того (історія)

Історія нормального розподілу (ігнорування діМоївре потрапляння до цього розподілу як наближення до біноміального розподілу) насправді є відкриттям розподілу, завдяки якому MLE відповідає методу найменших квадратів (а не методу найменших квадратів, як методу які можуть виражати MLE нормального розподілу, перший прийшов метод найменших квадратів, другий прийшов розподіл Гаусса)

Зауважимо, що Гаусс, пов'язуючи "метод максимальної ймовірності" з "методом найменших квадратів", придумав "розподіл Гаусса", , як єдиний розподіл помилок, що призводить нас до зробити цей зв'язок між двома методами.$e^{-x^2}$

З перекладу Чарльза Генрі Девіса (Теорія руху небесних тіл, що рухаються навколо Сонця в конічних розділах. Переклад Гауса "Теорія мотива" з додатком) ...

Гаус визначає:

Відповідно, ймовірність присвоїти кожній помилці буде виражена функцією яку позначимо через .$\Delta$$\Delta$$\psi \Delta$

^{(Італія зроблена мною)}

І продовжується ( у розділі 177 с. 258 ):

... звідки легко зробити висновок, що має бути постійною величиною. яку позначимо через . Отже, у нас є позначає основу гіперболічних логарифмів і припускаючи$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

закінчення (після нормалізації та реалізації ) в$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

Автор StackExchangeStrike

Тому що MLE походить від припущення про залишковий нормально розподіленому.

Зауважте, що

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

Не має ймовірнісного значення : просто знайдіть що мінімізує функцію втрат у квадраті. Все детерміновано, а випадкових компонентів там немає.$\beta$

Звідки ми припускаємо поняття ймовірності та ймовірності

$$y=X\beta + \epsilon$$

Де ми розглядаємо як випадкову змінну, і зазвичай розподіляється.$y$$\epsilon$

Найменші квадрати і максимальна (гауссова) вірогідність придатності завжди рівноцінні. Тобто вони мінімізовані одним і тим же набором коефіцієнтів.

Зміна припущення про помилки змінює вашу ймовірність функцію (максимізація ймовірності моделі еквівалентна максимізації ймовірності терміну помилки), і, отже, функція більше не буде мінімізована тим самим набором коефіцієнтів.

Тож на практиці обидва однакові, але теоретично, коли ви збільшите максимум іншої ймовірності, ви отримаєте іншу відповідь, ніж найменші квадрати

Конкретний приклад: Припустимо, ми беремо просту функцію помилок p (1) =. 9, p (-9) = .10. Якщо ми візьмемо дві точки, то LS просто збирається провести лінію через них. ML, з іншого боку, буде вважати, що обидві точки є однією одиницею занадто високою, і, таким чином, буде проводити лінію через точки, зміщені вниз на одиницю.