Що означає "лінійний у параметрах"?

13

Модель лінійної регресії є лінійною за параметрами.

Що це насправді означає?

regression linear-regression

1

Більше посилання, якщо це можливо? Щось вище або під цим рядком (із тексту, який ви знайшли це)?

— Dawny33

Це схоже, і його важко сказати через відсутність контексту, питання про статистику, і, ймовірно, має бути в розширеному вигляді на сайті stackexchange.

— Спайдермен

13

Розглянемо рівняння форми

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

де 's - це змінні, а - параметри. Тут y - лінійна функція 's (лінійна в параметрах), а також лінійна функція ' s (лінійна у змінних). Якщо ви зміните рівняння на $x$ $\beta$ $\beta$ $x$

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

Потім він більше не є лінійним у змінних (через квадратний термін), але все ще лінійний у параметрах. А для (багаторазової) лінійної регресії це все, що має значення, тому що, врешті-решт, ви намагаєтесь знайти набір , що мінімізує функцію втрат. Для цього вам потрібно розв’язати систему лінійних рівнянь . Враховуючи свої приємні властивості, він має рішення закритої форми, що полегшує наше життя. Все стає складніше, коли ти маєш справу з нелінійними рівняннями. $\beta$

Припустимо, ви не маєте справу з регресійною моделлю, але натомість у вас є проблема математичного програмування: Ви намагаєтеся мінімізувати об'єктивну функцію форми урахуванням набору обмежень: і . Це проблема лінійного програмування в тому сенсі, що вона лінійна в змінних. На відміну від регресійної моделі, ви намагаєтесь знайти набір (змінних), який задовольняє обмеження та мінімізує цільову функцію. Це також зажадає від вас вирішення систем лінійних рівнянь, але тут воно буде лінійним у змінних. Ваші параметри не матимуть ніякого впливу на цю систему лінійних рівнянь. $c^Tx$ $Ax \geq b$ $x\geq0$ $x$

— айхан
джерело

5

$Y = A X$ $A$ $X$ $X = [\alpha\; \alpha \beta\; \beta^2]^T$ $Y$ $X$

— Емре
джерело

1

Дякую! У вашому контексті, чи не вважає він регулярним X змінною, а A параметром?

— Альберт Гао

2

Ви впевнені, що X - це параметри? Я б сказав, що матриця A - це параметри. . .

— Ніл Слейтер

Звичайно

X

$X$ тут є змінні та

A

$A$ параметри, які можуть бути або не бути "лінійними в параметрах". Вони є лише лінійними, якщо припустити нелінійну форму. Модель є лише лінійною, якщо це правда, і змінні також мають лише лінійну форму.

— Астрід

2

Модель є лінійною, коли кожен додаток є константою або добутком параметра і предиктора. Лінійне рівняння будується шляхом додавання результатів для кожного члена. Це обмежує рівняння лише однією базовою формою:

$Response = constant + parameter * predictor + ... + parameter * predictor$

"Linear in parameters" in Linear Regression, means no parameter appears as an exponent, nor multiplied or divided by another parameter.

— Parag Jyoti Dutta
джерело