Що звичайного, у звичайних найменших квадратиках?

Нещодавно мій друг запитав, що таке звичайне, про звичайні найменші квадрати. Ми, здається, ніде не потрапляли в дискусію. Ми обоє погодилися, що OLS - це особливий випадок лінійної моделі, він має багато застосувань, добре відомий і є особливим випадком багатьох інших моделей. Але це насправді все?

Тому я хотів би знати:

Звідки насправді взялася назва?
Хто першим застосував ім’я?

— Репмат
джерело

Це звичайно, тому що зараз є інші варіанти. Зважений. Міцний. нелінійний. ... Звичайне - це те, як ти не переплутаєш із чимось іншим.

— EngrStudent

Як припущення, OLS, ймовірно, перший алгоритм чисельного пристосування, розроблений близько 1805 року нашої ери . Назва звичайна, ймовірно, була додана після розробки варіантів теми.

— Карл

Найменші квадрати в $y$ часто називають звичайними найменшими квадратами (OLS), оскільки це була перша в історії статистична процедура, розроблена близько 1800 року, дивіться історію . Це рівнозначно мінімізації $L_2$ норма, $||Y-f(X)||_2$ . Згодом зважені найменші квадрати, мінімізація інших норм (наприклад, $L_1$ ) були розроблені узагальнені найменші квадрати , М Оцінка , мінімізація біваріантів (наприклад, регресія Демінга), непараметрична регресія, максимальна ймовірність регресії, регуляризація (наприклад, Тихонов, хребет) та інші методи оберненої задачі та безліч інших інструментів. Досі існує суперечка щодо того, хто вперше застосував це, Гаус чи Легенда (див. Посилання ). Термін "звичайний" (мається на увазі в $y$ ), очевидно, було додано до "найменших квадратів" лише після того, як виникло так багато альтернативних методів, що (як і раніше найбільш популярні) OLS потрібно було диференціювати від безлічі інших мінімізацій, які стали доступними. Коли точно додавати звичайні $+$ найменше квадратів, що виникли, важко було б відстежити, оскільки це сталося, коли це стало природним чи очевидним.

— Карл
джерело

Ви також можете порівняти OLS з WLS, найменше зваженими квадратами, що мінімізує зважені квадрати.

— АдамО

Його насправді там дещо вже під "іншими" нормами, наприклад,

| | 1 - \frac{Y}{f (x)} | |

$||1-\frac{Y}{f(x)}||$ зважується.

— Карл

Це старе питання, якщо я правильно пам’ятаю, мені було дуже цікаво (на той час), щоб зрозуміти, хто вперше застосував термін OLS ... Здогадайтесь, я ніколи не дізнаюся ... Гарна відповідь через +1

— Repmat

Я ніколи не чув "найменших квадратів", які використовуються для опису мінімізації, яка не є

L_{2}

$L_2$ норма. (Зауважимо, що "енергетичні норми", такі, як тихоновська регуляризація, є лише важливими

L_{2}

$L_2$ перетвореного вектора.) Більш загальним терміном буде просто "регресія" або, можливо, " оцінка M ".

— GeoMatt22

Я погоджуюся з @AdamO, що звичайний проти зваженого * здається ймовірним контрастом. (* Скоріше, "узагальнений" . В обчислювальній науці я думаю, що це все ще називали б зваженим? Чому вагова матриця повинна бути діагональною?)

— GeoMatt22