Чому важливо розмежовувати "лінійну" проти "нелінійну" регресію?

12

Яке значення відрізняє лінійна та нелінійна моделі? Питання Нелінійна проти узагальненої лінійної моделі: як ви ставитесь до логістичної, пуассонової регресії тощо? і його відповідь була надзвичайно корисним з’ясуванням лінійності / нелінійності узагальнених лінійних моделей. Мабуть критично важливим є відмежування лінійних від нелінійних моделей, але мені незрозуміло чому? Наприклад, розглянемо такі регресійні моделі:

\begin{aligned} (1) & E [Y ∣ X] & = β_{0} + β_{1} X \\ (2) & E [Y ∣ X] & = β_{0} + β_{1} X + β_{2} X^{2} \\ (3) & E [Y ∣ X] & = β_{0} + β_{1}^{2} X \\ (4) & E [Y ∣ X] & = {1 + \exp (- [β_{0} + β_{1} X]}^{- 1} \end{aligned}

$\begin{align} E[Y \mid X] & = \beta_0 + \beta_1 X \tag{1} \\ E[Y \mid X] & = \beta_0 + \beta_1 X + \beta_2 X^2 \tag{2} \\ E[Y \mid X] & = \beta_0 + \beta_1^2 X \tag{3} \\ E[Y \mid X] & = \{1+\exp(-[ \beta_0 + \beta_1 X]\}^{-1} \tag{4} \end{align}$

Обидві Моделі 1 і 2 є лінійними, і рішення існують у закритому вигляді, їх легко знайти, використовуючи стандартний OLS-оцінювач. Це не так для моделей 3 і 4, які є нелінійними, оскільки (деякі з них) похідні wrt все ще є функціями . $\beta$ $E[Y\mid X]$ $\beta$ $\beta$

Одне просте рішення для оцінки в Моделі 3 - це лінеаризація моделі, встановивши , оцінити за допомогою лінійної моделі, а потім обчислити . $\beta_1$ $\gamma = \beta_1^2$ $\gamma$ $\beta_1 = \sqrt{\gamma}$

Для оцінки параметрів в Моделі 4 можна вважати, що слідує за біноміальним розподілом (членом експоненціальної родини) і, використовуючи той факт, що логістична форма моделі є канонічною ланкою, лінеаризує резус моделі. Це був першокласний внесок Нелдера та Веддерберна . $Y$

Але чому ця нелінійність в першу чергу є проблемою? Чому можна не просто використовувати якийсь ітераційний алгоритм для вирішення Моделі 3 без лінеаризації з використанням функції квадратного кореня або Модель 4 без виклику GLM. Я підозрюю, що до поширення обчислювальної потужності статистики намагалися все лінеалізувати. Якщо це правда, то, можливо, "проблеми", внесені нелінійністю, є залишком минулого? Чи є ускладнення, внесені нелінійними моделями, просто обчислювальними, чи є якісь інші теоретичні проблеми, які роблять нелінійні моделі складнішими для пристосування до даних, ніж лінійні моделі?

linear-model nonlinear-regression nonlinear

— користувач1849779
джерело

1

Якщо ви хочете оцінити , просто оцініть (проста лінійна регресія), а потім візьміть ...

E [Y | X] = β_{0} + β_{1}^{2} X

$E[Y|X] = \beta_0 + \beta_1^2 X$

E [Y | X] = β_{0} + γ X

$E[Y|X] = \beta_0 + \gamma X$

β_{1} = \sqrt{γ}

$\beta_1 = \sqrt{\gamma}$

— Тім

@Tim, дякую за коментар. Я усвідомлював цю трансформацію як можливість, але намагався задати дещо інше питання. Я суттєво відредагував це питання, сподіваюся, на краще.

— користувач1849779

5

Я бачу дві основні відмінності:

лінійність робить його простим і надійним. Наприклад, (лінійний) OLS є неупередженим оцінювачем при невідомому розподілі збурень. Загалом, GLM та нелінійні моделі - це не так. OLS також є надійною для різних моделей структури помилок (випадкові ефекти, кластеризація тощо), де в нелінійних моделях зазвичай потрібно вважати точний розподіл цих термінів.
Вирішити це досить просто: просто пара множин матриць + 1 обернена. Це означає, що ви майже завжди можете її вирішити, навіть у випадках, коли цільова функція майже рівна (мультиколінеарність.) Ітеративні методи можуть не зближуватися в таких проблемних випадках (що в певному сенсі є хорошою справою.) Легке вирішення може чи може не менш проблемою в наш час. Комп'ютери стають швидшими, але дані стають більшими. Ви коли-небудь намагалися запустити логіт-регресію на спостереженнях 1G?

Крім того, лінійні моделі легше інтерпретувати. У лінійних моделях граничні ефекти, що дорівнюють коефіцієнтам, не залежать від значень X (хоча поліноміальні доданки посилюють цю простоту.)

— Ott Toomet
джерело

Я відрізняю як головне одне зручне або історичне використання.

— Марта

2

Багато моделей в біології (та інших галузях) нелінійні, тому найкраще підходять до нелінійної регресії. Математика, звичайно, дуже різна. Але з точки зору аналітика даних, насправді є лише одна важлива відмінність.

Нелінійна регресія вимагає початкових розрахункових значень для кожного параметра. Якщо ці початкові оцінки не вдається, програма нелінійної регресії може сходитися на помилковому мінімумі і давати марні або оманливі результати.

— Харві Мотульський
джерело

2

Це, безумовно, є частиною відповіді. Але, стверджуючи, що єдиною різницею є те, що становить незначну техніку, ви можете надмірно мінімізувати проблеми нелінійних моделей. Наприклад, деякі прості, що виникають у біології, можуть мати різно різні локальні мінімуми, всі вони близькі до глобальних мінімумів. Це принципове якісне питання не вирішується вдосконаленою обчислювальною потужністю або кращими методами оптимізації: сама природа багатьох нелінійних моделей настільки відрізняється від лінійних моделей, що вони потребують глибокого роздуму над їх значенням та їх інтерпретацією.

— whuber

1

По-перше, я підміню слово "модель" на слово "регресія". Я думаю, що для обох слів справді потрібно запитати, які відповідні рівняння визначають модель та які відповідні гіпотези щодо значень залежної змінної та значень, передбачених рівнянням / моделлю. Я думаю, що термін «модель» є більш стандартним. Якщо ви згодні з цим, читайте далі.

Я справді завдячую цією відповіддю на роздуми над коментарем колеги, яка є класично підготовленим імовірніком і статистиком. Він жорстоко заперечив проти того, щоб книга називала поліноміальну регресію як нелінійну, і саме тоді я більш серйозно читав про нелінійні моделі. Я вважаю, що правильна відповідь полягає в тому, що лінійна модель передбачає, що термін помилки є гауссовим, тоді як узагальнена лінійна модель передбачає більш узагальнену форму для терміна помилки. Якщо - будь-який набір функцій, то можна спробувати побудувати лінійну модель у . Наприклад, якщо , то отримуємо поліноміальну регресію. Це лінійна модель, якщо різниця $\phi_1, \ldots, \phi_n$ $\phi_1, \ldots, \phi_n$ $\phi_i = x^i$ $\epsilon_i = y_i - \sum a_{ij}x^j$ є Гауссом. Імхо, я думаю, що у вікіпедії є дуже розумне пояснення загальних лінійних моделей. Я думаю, що це ключове речення - "GLM узагальнює лінійну регресію, дозволяючи лінійній моделі бути пов'язаною зі змінною відповіді через функцію зв'язку та дозволяючи величині дисперсії кожного вимірювання бути функцією від її прогнозованого значення. " Отже, glm дозволяє більш загальний термін помилки. Це дозволяє досягти більшої гнучкості в моделюванні. Ціна ? Обчислити правильну модель складніше. Більше не існує простого методу обчислення коефіцієнтів. Коефіцієнти лінійної регресії можна знайти, зводячи до мінімуму квадратичний функціонал, який має унікальний мінімум. За словами Бората, для глм не так багато. Треба обчислити молоко,

— мех
джерело

1

Нелінійна модель також може припускати, що залишки відбираються з Гауссового розподілу. Простий приклад - активність ферментів (Y) як функція концентрації субстрату (X). Y = Vmax * X / (Km + X) Загальноприйнятним і розумним є припущення, що залишки є гауссовими, але це нелінійне рівняння, яке відповідає нелінійній регресії.

— Харві Мотульський

2

Нелінійні моделі містять набагато більше, ніж ГЛМ. GLM є популярними, оскільки вони "майже" лінійні в параметрах: вся нелінійність обмежується функцією однієї змінної, "link". Це дозволяє отримати порівняно ефективні, надійні рішення. Інші нелінійні моделі набагато менш простежуються. Поняття лінійності значною мірою окремо від природи залишків, хоча в деяких випадках вигідно відрізняти добавки від інших форм зміни.

— whuber