Що означає лінійна регресія?

11

В R, якщо пишу

lm(a ~ b + c + b*c)

це все-таки буде лінійною регресією?

Як зробити інші види регресії в R? Буду вдячний за будь-яку рекомендацію щодо підручників чи навчальних посібників?

r regression

— suprvisr
джерело

Я спробував трохи переробити ваше запитання. Боюся, схоже, що ви задаєте два дуже різні питання. Для другого на цьому сайті доступно багато ресурсів, але також і на CRAN .

— chl

@chl, так, дякую, я не зрозумів. Мої запитання справді такі: Якщо я пишу LM на R, чи R розуміє це як лінійний завжди або намагається відповідати будь-якій моделі, не обов'язково лінійній регресії, а будь-якій регресії?

— suprvisr

Ні, lm()означає лінійну регресію. Ваша модель включає в себе три параметра (мінус перехоплювати) для b, cі їх взаємодії b:c, що означає b + c + b:cабо b*cдля стислості (R слід нотації Уїлкінсона для статистичних моделей). Встановлення узагальненої лінійної моделі (тобто там, де функція зв'язку не є тотожною, як це стосується лінійної моделі, вираженої вище) glm().

— chl

24

Лінійний стосується співвідношення між параметрами, які ви оцінюєте (наприклад, ), і результатом (наприклад, ). Отже, лінійний, але - ні. Лінійна модель означає , що ваша оцінка вашого вектора параметрів може бути записана , де $\beta$ $y_i$ $y=e^x\beta+\epsilon$ $y=e^\beta x + \epsilon$ $\hat{\beta} = \sum_i{w_iy_i}$ $\{w_i\}$ чи ваги визначаються вашою процедурою оцінки. Лінійні моделі можна розв’язувати алгебраїчно в закритому вигляді, тоді як багато нелінійних моделей потрібно вирішувати числовою максимізацією за допомогою комп’ютера.

— Чарлі
джерело

6

+1 Зокрема, у "лінійній моделі" залежна змінна

є лінійною функцією параметрів, але не обов'язково даних.

y

$y$

— whuber

1-й - лінійний? справді - той, що під силу x?

— suprvisr

2

x

$x$

β

$\beta$

β

$\beta$

+1, але цю відповідь можна було б покращити, коментуючи формулу питання.

— naught101

1

Я помічаю, під час другого читання, що друга половина цієї відповіді плутає "лінійну модель" з "лінійним оцінником". Два поняття є окремими та різними. Нелінійні моделі часто мають лінійні оцінювачі, а лінійні моделі можуть мати нелінійні оцінники (наприклад, врахуйте GLM).

— whuber

5

Цей пост на сайті minitab.com дає дуже чітке пояснення:

Модель лінійна, коли її можна записати у такому форматі:
- Response = constant + parameter * predictor + ... + parameter * predictor
  - Тобто, коли кожен доданок (у моделі) є або константою, або добутком параметра і змінної предиктора.
- Отже, обидві є лінійними моделями:
  - $Y = B_0 + B_1X_1$
  - $Y = B_0 + B_1X_1^2$
Якщо модель не може бути виражена у наведеному вище форматі, вона нелінійна.
- Приклади нелінійних моделей:
  - $Y = B_0 +$ $X_1^{B_1}$
  - $Y = B_0 \centerdot \cos (B_1 \centerdot X_1)$

— Патрік Нг
джерело

4

Я б обережно ставив це як питання "R лінійної регресії" проти "лінійної регресії". Формули в R мають правила, яких ви можете або не можете знати. Наприклад:

http://wiener.math.csi.cuny.edu/st/stRmanual/ModelFormula.html

Припустимо, що ви запитуєте, чи таке рівняння лінійне:

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * (b*c))

Відповідь "так", якщо ви збираєте нову незалежну змінну, таку як:

newv = b * c

Заміна вищевказаного рівняння newv у вихідне рівняння, ймовірно, виглядає так, як ви очікуєте від лінійного рівняння:

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * newv)

Що стосується посилань, то "регресія" Google або все, що ви думаєте, може працювати для вас.

— рахунок_080
джерело

Як перейменування чогось робить це лінійним? Я не розумію, якщо ідентичність newv = b * c справедлива, вона зовсім не лінійна. Я збентежений.

— bayerj

@bayer: newv - нова змінна. Нове рівняння - це лінійна функція трьох змінних (b, c, newv), де коефіцієнти забезпечують лінійну залежність. Жодне рівняння не є лінійною комбінацією всього двох змінних.

— bill_080

@bayer Дивіться відповідь @Charlie. У цьому прикладі обидві моделі є лінійними (незалежно від того, чи R їх розглядає як такі), оскільки в обох вони aє лінійною функцією чотирьох коефіцієнтів.

— whuber

дякую, це має сенс ... чи можу я просто додати в базу даних (медичну) нову змінну neww, яка є b * c, а потім трактувати її як лінійну регресію?

— suprvisr

2

Можна виписати лінійну регресію у вигляді (лінійного) матричного рівняння.

$\left[ \matrix{a_1 \\a_2 \\a_3 \\a_4 \\a_5 \\ ... \\ a_n} \right] = \left[ \matrix{b_1 & c_1 & b_1*c_1 \\ b_2 & c_2 & b_2*c_2 \\b_3 & c_3 & b_3*c_3 \\b_4 & c_4 & b_4*c_4 \\b_5 & c_5 & b_5*c_5 \\ &...& \\ b_n & c_n & b_n*c_n } \right] \times \left[\matrix{\alpha_b & \alpha_c & \alpha_{b*c}} \right] + \left[ \matrix{\epsilon_1 \\\epsilon_2 \\\epsilon_3 \\\epsilon_4 \\\epsilon_5 \\ ... \\ \epsilon_n} \right]$

або якщо ви згорнуте це:

$\mathbf{a} = \alpha_b \mathbf{b} + \alpha_c \mathbf{c} + \alpha_{b*c} \mathbf{b*c} + \mathbf{\epsilon}$

$\mathbf{b}$ $\mathbf{c}$ $\mathbf{b*c}$ $\mathbf{a}$

$\mathbf{a}$ $\mathbf{b}$ $\mathbf{c}$ $\mathbf{b*c}$

$y=a e^{ct} + b e^{dt}$ $y=u(e^{c(t-v)}+e^{d(t-v)})$ $a$ $b$

— Секст Емпірік
джерело

Я вважаю, що це найкраща відповідь, тому що вона відповідає на питання Чому замість просто Що. Відповідь "Що" не призводить до кращої інтуїції.

— Гексатонічний