Рівновага між найменшими квадратами та MLE в гауссовій моделі

Я новачок у машинному навчанні та намагаюся навчитися цьому самостійно. Нещодавно я читав деякі конспекти лекцій і мав основне запитання.

Слайд 13 говорить, що "Оцінка найменшої площі така ж, як Максимальна оцінка ймовірності за моделлю Гаусса". Здається, це щось просте, але я цього не бачу. Може хтось, будь ласка, пояснить, що тут відбувається? Мені цікаво бачити математику.

Пізніше я спробую також побачити ймовірнісну точку зору на регресію Рейда та Лассо, тому, якщо є якісь пропозиції, які допоможуть мені, це також буде дуже вдячно.

regression bayesian least-squares

— Енді
джерело

Цільова функція внизу стор. 13 - просто постійне кратне ( ) цільової функції в нижній частині p. 10. MLE мінімізує перший, а найменший квадрат мінімізує останній, QED.

n

$n$

— whuber

@whuber: Дякую за вашу відповідь. Ну, що я хотів знати, це як MLE робить мінімізацію.

— Енді

Ви маєте на увазі механіку чи концептуально?

— whuber

@whuber: Обидва! Якби я міг бачити цю математику, це теж допоможе.

— Енді

Ланка розірвана; відсутність повної посилання та більше контексту для цитати ускладнює просто видалення посилання або пошук альтернативного джерела для неї. Чи достатній слайд 13 цього посилання? --- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

— Glen_b -Встановити Моніку

У моделі

$Y = X \beta + \epsilon$

де , логічність ймовірності для вибірки з суб'єктів становить (до постійної добавки) $\epsilon \sim N(0,\sigma^{2})$ $Y|X$ $n$

\frac{- н}{2} журнал (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{н} (у_{i} - х_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

розглядається як функція лише , максимізатор - це саме те, що мінімізується $\beta$

\sum_{i = 1}^{н} (у_{i} - х_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

чи пояснює це рівнозначність?

— Макрос
джерело

Це саме те , що в слайдах згадується в OP

— whuber

Так, я бачу, але вони насправді не пишуть імовірність гауссового журналу на сторінці 13, що після цього робить очевидним, що його аргмакс такий же, як аргумент критеріїв OLS, тому я вважав, що це є вагомим доповненням.

— Макрос

хороший момент: слайд трохи схематичний з деталями.

— whuber

β

$\beta$

L_{2}

$L_{2}$

Константа добавкиn/2 log(2 *pi)

— SmallChess