Зв'язок між MLE та найменшими квадратами у випадку лінійної регресії

Хасті та Тібшірані згадують у розділі 4.3.2 своєї книги, що у лінійній регресії підхід найменших квадратів насправді є особливим випадком максимальної вірогідності. Як ми можемо довести цей результат?

PS: Не шкодуйте математичних деталей.

regression maximum-likelihood least-squares

— Праднееш Джоші
джерело

Це не окремий випадок: вони просто ідентичні, коли розподіл помилок є нормальним.

— Zhanxiong

Модель лінійної регресії

$Y = X\beta + \epsilon$ , де $\epsilon \sim N(0,I\sigma^2)$

$Y \in \mathbb{R}^{n}$ , $X \in \mathbb{R}^{n \times p}$ і $\beta \in \mathbb{R}^{p}$

Зауважте, що помилка нашої моделі (залишкова) є ${\bf \epsilon = Y - X\beta}$ . Наша мета - знайти вектор $\beta$ s, які мінімізують $L_2$ норма цієї квадратичної помилки.

Найменші квадрати

Наведені дані $(x_1,y_1),...,(x_n,y_n)$ де кожен $x_{i}$ є $p$ розмірними, ми прагнемо знайти:

{\hat{β}}_{L S} = \underset{β}{аргмін} | | ϵ | |^{2} = \underset{β}{аргмін} | | Y - Х β | |^{2} = \underset{β}{аргмін} \sum_{i = 1}^{н} (у_{i} - х_{i} β)^{2}

$\widehat{\beta}_{LS} = {\underset \beta {\text{argmin}}} ||{\bf \epsilon}||^2 = {\underset \beta {\text{argmin}}} ||{\bf Y - X\beta}||^2 = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} ( y_i - x_{i}\beta)^2$

Максимальна ймовірність

За допомогою наведеної вище моделі ми можемо встановити ймовірність даних, заданих параметрами $\beta$ як:

L (Y | Х, β) = \prod_{i = 1}^{н} f (у_{i} | х_{i}, β)

$L(Y|X,\beta) = \prod_{i=1}^{n} f(y_i|x_i,\beta)$

де $f(y_i|x_i,\beta)$ - pdf звичайного розподілу із середнім значенням 0 та дисперсією $\sigma^2$ . Підключіть його:

L (Y | Х, β) = \prod_{i = 1}^{н} \frac{1}{\sqrt{2 π σ^{2}}} е^{- \frac{(у_{i} - х_{i} β)^{2}}{2 σ^{2}}}

$L(Y|X,\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i - x_i\beta)^2}{2\sigma^2}}$

Зараз, як правило, якщо мати справу з вірогідністю, математично простіше взяти журнал перед тим, як продовжувати (продукти стають сумми, експоненти відходять), так що давайте це зробимо.

журнал L (Y | Х, β) = \sum_{i = 1}^{н} журнал (\frac{1}{\sqrt{2 π σ^{2}}}) - \frac{(у_{i} - х_{i} β)^{2}}{2 σ^{2}}

$\log L(Y|X,\beta) = \sum_{i=1}^{n} \log(\frac{1}{\sqrt{2\pi\sigma^2}}) -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

Оскільки ми хочемо оцінити максимальну ймовірність, ми хочемо знайти максимум рівняння, яке було зазначено вище, стосовно $\beta$ . Перший термін не впливає на нашу оцінку $\beta$ , тому ми можемо ігнорувати це:

{\hat{β}}_{М L Е} = \underset{β}{аргмакс} \sum_{i = 1}^{н} - \frac{(у_{i} - х_{i} β)^{2}}{2 σ^{2}}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmax}}} \sum_{i=1}^{n} -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

Зауважте, що знаменник є константою відносно $\beta$ . Нарешті, зауважте, що перед сумою є негативний знак. Тож знаходження максимуму від’ємного числа - це як знаходження мінімуму без негативного. Іншими словами:

{\hat{β}}_{М L Е} = \underset{β}{аргмін} \sum_{i = 1}^{н} (у_{i} - х_{i} β)^{2} = {\hat{β}}_{L S}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} (y_i - x_i\beta)^2 = \widehat{\beta}_{LS}$

Нагадаємо, що для цього нам довелося зробити певні припущення щодо моделі (нормальність термінів помилки, 0 середнє значення, постійна дисперсія). Це робить найменше квадратів еквівалентним MLE за певних умов. Дивіться тут і тут для більшого обговорення.

Для повноти зауважте, що рішення можна записати так:

β = (Х^{Т} Х)^{- 1} Х^{Т} у

${\bf \beta = (X^TX)^{-1}X^Ty}$

— іланман
джерело