"Найменші квадрати" та "лінійна регресія" - це синоніми?

Яка різниця між найменшими квадратами та лінійною регресією? Це одне й те саме?

regression least-squares terminology

Я б сказав, що звичайні найменші квадрати - це один метод оцінки в межах більш широкої категорії лінійної регресії . Цілком можливо, що якийсь автор використовує "найменші квадрати" та "лінійну регресію" так, ніби вони взаємозамінні.

— Меттью Ганн

Якщо ви робите звичайні найменші квадрати , я використовую цей термін. Це менш неоднозначно.

— Меттью Ганн

Дивіться також, що таке модель регресії .

— Річард Харді

Відповіді:

Лінійна регресія передбачає лінійну залежність між незалежною та залежною змінною. Це не говорить вам про те, як підійде модель. Найменше квадратне облягання - просто одна з можливостей. Інші методи навчання лінійної моделі - у коментарі.

Нелінійні найменші квадрати поширені ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Наприклад, популярний алгоритм Левенберга – Маркарда вирішує щось на кшталт:

\hat{β} = \underset{β}{аргмін} S (β) \equiv \underset{β}{аргмін} \sum_{i = 1}^{м} {[у_{i} - f (х_{i}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

Це оптимізація найменших квадратів, але модель не є лінійною.

Вони не одне і те ж .

— Привіт Світ
джерело

На додаток до правильної відповіді @Student T, я хочу підкреслити, що найменші квадрати є функцією потенційних втрат для проблеми оптимізації, тоді як лінійна регресія - проблема оптимізації.

З огляду на певний набір даних, лінійна регресія використовується для пошуку найкращої можливої лінійної функції, яка пояснює зв’язок між змінними.

У цьому випадку "найкращий" можливий визначається функцією втрат, порівнюючи передбачувані значення лінійної функції з фактичними значеннями в наборі даних. Найменші квадрати - це можлива функція втрат.

Стаття з вікіпедії про найменші квадрати також показує зображення праворуч, на яких зображено використання найменших квадратів для інших проблем, ніж лінійна регресія, наприклад:

конічні
підходить квадратична функція

Наведений нижче текст статті у Вікіпедії показує кілька різних функцій поліномів, встановлених на наборі даних, використовуючи найменші квадрати. Лише одна з них лінійна (поліном 1). Це взято із статті німецької вікіпедії до теми.

— Ніколас Рібле
джерело

Можна стверджувати, що нелінійні приклади анімації насправді все ще лінійні в параметрах.

— Firebug

Правда, проте модельне співвідношення між цільовою та вхідною змінною нелінійне. Ви б ще назвали придатну "лінійною регресією"? Я б не став.

— Nikolas Rieble

Ми повинні розрізняти "лінійні найменші квадрати" та "лінійні регресії", оскільки прикметник "лінійний" у двох стосується різних речей. Перший стосується пристосування, лінійного в параметрах, а другий стосується пристосування до моделі, яка є лінійною функцією незалежної змінної (змінних).

— JM не є статистиком

@JM Багато джерел стверджують, що "лінійна" в "лінійній" регресії означає "лінійна в параметрах", а "лінійна в IV". Стаття WIkipedia про лінійну регресію - це приклад. Ось ще і ще . Багато текстів статистики роблять те саме; Я б стверджував, що це конвенція.

— Glen_b -Встановити Моніку

@ Glen, пропільство пізнішої розробки, ніж речі, які я читав (я старий в цьому); вони обмежили "лінійну регресію" пристосуванням моделі .

y = m x + b

$y=mx+b$

— JM не є статистиком