Вибір між лінійною регресійною моделлю або нелінійною регресійною моделлю

Як слід вирішити питання використання лінійної регресійної моделі чи нелінійної регресійної моделі?

Моя мета - передбачити Y.

У випадку простого набору даних та я міг би легко визначити, яку регресійну модель слід використовувати, будуючи графік розкиду.$x$$y$

У випадку різновидів, таких як і . Як я можу визначити, яку регресійну модель потрібно використовувати? Тобто, як я прийму рішення про перехід із простою лінійною моделлю або нелінійними моделями, такими як квадричні, кубічні тощо.$x_1,x_2,...x_n$$y$

Чи є якась техніка чи статистичний підхід чи графічні графіки, щоб зробити висновок і вирішити, яку регресійну модель слід використовувати?

Це сфера статистики, яка називається вибір моделі. У цій галузі проводиться багато досліджень, і на це немає однозначної та простої відповіді.

Припустимо, у вас є і і ви хочете знати, чи слід включати в термін . У такій ситуації ваша більш парсимонізована модель вкладена у вашу більш складну модель. Іншими словами, змінні і ( модель) є підмножиною змінних і (складна модель). У побудові моделі ви маєте (принаймні) одну з наступних двох головних цілей:$X_1, X_2$$X_3$$X_3^2$$X_1, X_2$$X_3$$X_1, X_2, X_3$$X_3^2$

1. Поясніть дані: ви намагаєтесь зрозуміти, як деякий набір змінних впливає на вашу змінну відповіді, або вас цікавить, як впливає на , контролюючи ефекти$X_1$$Y$$X_2,...X_p$
2. Прогнозуйте : ви хочете точно передбачити , не піклуючись про те, що або скільки змінних є у вашій моделі$Y$$Y$

Якщо ваша мета - номер 1, то я рекомендую тест на коефіцієнт ймовірності (LRT). LRT використовується, коли ви вклали моделі і хочете знати, "чи дані значно частіше походять зі складної моделі, ніж парсимонові?". Це дасть вам зрозуміти, яка модель краще пояснює взаємозв’язок між вашими даними.

Якщо ваша мета - номер 2, то я рекомендую якусь техніку перехресної перевірки (CV) ( кратне резюме, резюме-випуск-резюме, CV-тест-навчання) залежно від розміру ваших даних. Підводячи підсумок, ці методи будують модель на підмножині ваших даних і прогнозують результати на решті даних. Виберіть модель, яка найкраще працює, передбачивши інші дані.$k$

Коли я переглядаю "лінійну чи нелінійну модель регресії", я отримую кілька посилань, які призводять до цієї книги: http://www.graphpad.com/manuals/prism4/RegressionBook.pdf Ця книга не цікава, і мені це не подобається не вірять їй на 100% (з якихось причин).

Я знайшов і цю статтю: http://hunch.net/?p=524 з назвою: Майже всі природні проблеми потребують нелінійності

Я також знайшов подібне запитання з досить хорошим поясненням: /programming/1148513/difference-between-a-linear-problem-and-a-non-linear-problem-essence-of-dot-pro

На основі мого досвіду, коли ви не знаєте, яку модель використовуєте, використовуйте обидві та спробуйте інші функції.

Як ви заявляєте, лінійні моделі, як правило, простіші, ніж нелінійні моделі, тобто вони працюють швидше (побудова та прогнозування), їх легше інтерпретувати та пояснювати, і, як правило, прямо вперед при вимірюванні помилок. Отже, мета - з'ясувати, чи припущення про лінійну регресію відповідають вашим даним (якщо ви не підтримуєте лінійну, то просто перейдіть з нелінійною). Зазвичай ви повторите свою однозмінну ділянку з усіма змінними окремо, тримаючи всі інші змінні постійними.

Можливо, ще важливіше, але ви хочете знати, чи можете ви застосувати якусь трансформацію, змінну взаємодію або фіктивну змінну для переміщення даних у лінійний простір. Якщо ви в змозі перевірити припущення, або якщо ви досить добре знаєте свої дані, щоб застосувати мотивовані або іншим чином інтелектуально інформовані перетворення або модифікації, тоді ви хочете продовжити це перетворення та використовувати лінійну регресію. Отримавши залишки, ви можете побудувати їх на основі прогнозованих значень або незалежних змінних, щоб вирішити, чи потрібно переходити до нелінійних методів.

Тут у Дюка чудово розбивається припущення про лінійну регресію . Перераховано чотири основні припущення, і кожне з них розбивається на вплив на модель, як діагностувати їх у даних та потенційні способи "виправити" (тобто перетворити або додати) дані, щоб припустити припущення. Ось невеликий уривок зверху, який підсумовує чотири звернені припущення, але вам слід піти туди і прочитати розбивки.

Існують чотири основні припущення, які виправдовують використання лінійних регресійних моделей для цілей висновку чи прогнозування:

(i) лінійність та адекватність зв’язку між залежними та незалежними змінними:

(a) Очікуване значення залежної змінної - це пряма функція кожної незалежної змінної, утримуючи інші фіксованими.

(b) Нахил цієї лінії не залежить від значень інших змінних.

(c) Вплив різних незалежних змінних на очікуване значення залежної змінної є адитивним.

(ii) статистична незалежність помилок (зокрема, відсутність кореляції між> послідовними помилками у випадку даних часових рядів)

(iii) гомоскедастичність (постійна дисперсія) помилок

(а) по відношенню до часу (у випадку даних часових рядів)

(b) проти прогнозів

(c) проти будь-якої незалежної змінної

(iv) нормальність розподілу помилок.