Розмежування лінійної та нелінійної моделі

13

Я прочитав кілька пояснень щодо властивостей лінійних та нелінійних моделей, але все ж іноді я не впевнений, чи є модель під рукою лінійна чи нелінійна. Наприклад, чи є наступна модель лінійною чи нелінійною?

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

З:

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

Де являє собою (розпадається) Експоненціальну функцію полінома виду виду: $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

На мій погляд, моє основне рівняння (перше) є лінійним щодо , оскільки цей термін просто помножений на вагу. Але я б сказав, що функція зважування (останнє рівняння) нелінійна щодо параметрів ans . $X_t$ $\theta_1$ $\theta_2$

Чи може хтось пояснити мені, чи є моєю основною функцією лінійна чи нелінійна та що це означає для процедури оцінки - чи потрібно застосовувати лінійний чи нелінійний метод найменших квадратів ?. Крім того, у чому полягає особливість, за допомогою якої я можу точно визначити, чи є функція нелінійною чи лінійною?

linear-model nonlinear-regression nonlinear

— DatamineR
джерело

17

При звичайних визначеннях лінійних та нелінійних щодо моделювання критичним аспектом є не лінійність щодо прогнозів, а лінійність щодо параметрів. Нелінійна модель є нелінійною, оскільки вона не є лінійною за параметрами.

Наприклад, перше речення тут говорить:

У статистиці нелінійна регресія - це форма регресійного аналізу, в якій дані спостереження моделюються функцією, яка є нелінійною комбінацією параметрів моделі і залежить від однієї або декількох незалежних змінних.

На відміну від цього, узагальнені лінійні моделі, як правило, мають нелінійний зв’язок між відповіддю та предикторами, але середньо-відповідна реакція, що перетворюється на ланку ( лінійний предиктор , ), у параметрах лінійна. $\eta$

[За цим визначенням, я вважаю, що ваша модель нелінійна в s, хоча якщо s вказані (відомі), то ця нелінійність не має значення для оцінки. Якщо вони встановлюються, модель нелінійна.] $\theta$ $\theta$

— Glen_b -Встановити Моніку
джерело

Що ви маєте на увазі "щодо параметрів"? Чи можете ви навести 2 приклади для лінійних та нелінійних?

— NoName

1

Я маю на увазі, що саме параметри повинні бути аргументом лінійного відображення ; коли ми пишемо

і

, аргументи

і

(входи) до відображення

- вектори параметрів (наприклад, наприклад коефіцієнти в регресії або в лінійному предикторі в ГЛМ). Зауважимо, що

f (c v) = c f (v)

$f(cv)=cf(v)$

f (u + v) = f (u) + f (v)

$f(u+v) = f(u)+f(v)$

u

$u$

v

$v$

f

$f$

η = X β

$\eta=X\beta$ є лінійним у

у передбачуваному сенсі (тобто

- лінійне відображення). В якості одного прикладу розглянемо

. Це не лінійно в x, але є лінійним у

.

β

$\beta$

η (β)

$\eta(\beta)$

E [Y] = β_{0} + β_{1} x + β_{2} \log (x)

$E[Y]=\beta_0+\beta_1x+\beta_2 \log(x)$

β

$\beta$

— Glen_b -Встановіть Моніку

1

Тим часом

не є лінійним у

, оскільки третій компонент

надходить нелінійно ..

E [Y] = β_{0} + β_{1} \exp (β_{2} x)

$E[Y]=\beta_0+\beta_1\exp(\beta_2 x)$

β

$\beta$

β

$\beta$

— Glen_b -Встановити Моніку

9

Я згоден з Glen_b. У проблемах регресії основна увага приділяється параметрам, а не незалежній змінній чи прогноктору, x. І тоді можна вирішити, чи хочеться лінеаризувати проблему, використовуючи прості перетворення, або продовжувати її як таку.

Лінійні задачі: підрахувати кількість параметрів у вашій проблемі і перевірити , чи всі з них мають силу 1. Так , наприклад, . Ця функція нелінійна в . Але для проблем з регресією нелінійність у не є проблемою. Треба перевірити, чи є параметри лінійними чи лінійними. У цьому випадку , , $y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ , .. всі мають потужність 1. Отже, вони лінійні. $f$

Зауважте, що у , хоч виглядає, що він має потужність 1, але при розширенні . Ви можете чітко бачити, що це нелінійний параметр, оскільки a має потужність більше 1. Але цю проблему можна лінеаризувати, викликаючи логарифмічне перетворення. Тобто нелінійна проблема регресії перетворюється на задачу лінійної регресії. $y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

Аналогічно, - це логістична функція. Вона має три параметри, а саме , і . Параметри і мають потужність більше 1, а при розширенні вони помножуються з кожним інші, що приносять нелінійність. Отже, вони не є лінійними, але вони також можуть бути лінеаризовані за допомогою правильної підстановки, встановивши спочатку а потім викликаючи логарифмічну функцію з обох сторін для лінеаризації. $y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

Тепер припустимо, що . Це ще раз нелінійно щодо параметрів. Але це не може бути лінеаризовано. Потрібно використовувати нелінійну регресію. $y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

В принципі, використання лінійної стратегії для вирішення проблеми нелінійної регресії не є хорошою ідеєю. Отже, вирішуйте лінійні задачі (коли всі параметри мають потужність 1) за допомогою лінійної регресії та приймайте нелінійну регресію, якщо ваші параметри нелінійні.

$\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

Прийміть нелінійну техніку найменших квадратів для її вирішення. Вибирайте початкові значення розумно та використовуйте багатостартовий підхід для пошуку глобальних мінімумів.

Це відео буде корисним (хоча воно не говорить про глобальне рішення): http://www.youtube.com/watch?v=3Fd4ukzkxps

Використання GRG нелінійного розв'язувача в електронній таблиці Excel (встановіть пакет інструментів solver, перейшовши в параметри - Add-Ins - Excel Add-Ins, а потім виберіть Solver Add-In) та виклик мультистарту в списку параметрів, призначаючи інтервали до параметрів та вимагаючи точність обмеження та невелика конвергенція можуть отримати глобальне рішення.

Якщо ви використовуєте Matlab, використовуйте панель інструментів глобальної оптимізації. Він має багатостартові та глобальні варіанти пошуку. Деякі коди доступні тут для глобального рішення, тут і тут .

Якщо ви використовуєте Mathematica, подивіться тут .

Якщо ви використовуєте R, спробуйте тут .

— Біпі
джерело

1

Дякую, @Bipi, за приклади! Для другого, якщо встановити Y = (a / y - 1), як можна виділити параметр від змінної y?

— Vivek Subramanian

0

Основна функція - лінійна.

$B(L;\theta)$

Я би продовжував би лінійні найменші квадрати, якби я був ти.

Ось як ви підтверджуєте чи заперечуєте лінійність:

https://en.wikipedia.org/wiki/Non-linear#Definition

Вам також можуть сподобатися:

https://en.wikipedia.org/wiki/Linear_combination

https://en.wikipedia.org/wiki/Least_squares

http://en.m.wikipedia.org/wiki/Linear_least_squares_(mathematics)

— Туз Фрамм
джерело

0

Це буде легко зрозуміти, якщо я поясню це в контексті функцій.

Лінійний: функція, яка має постійний нахил. Алгебраїчно многочлен з найвищим показником, рівний 1. Це функція, графіком якої є лінія. Наприклад,y=2x+3

Нелінійна: функція, яка має протилежні властивості лінійної функції. Функція, яка має різний нахил. Це многочлен з експонентом, рівним 2 або більше. Це графік - це не рядок. Наприклад,y=x^2

[ http://study.com/academy/lesson/nonlinear-function-definition-examples.html обвинений1]

— Ірфанулла
джерело

Лінійні статистичні моделі не збігаються з лінійними функціями. Нелінійна функція з аддитивним шумом все ще може бути лінійною моделлю, оскільки лінійність визначається параметрами моделі, а не змінними предиктора.

— Майкл Р. Черник