Чи є пень рішення лінійною моделлю?

Пень рішення - дерево рішень, що має лише один розкол. Він також може бути записаний як кусочно функція.

Наприклад, припустимо, що - вектор, а - перший компонент , в регресійному режимі деякий пень рішення може бути $x$ $x_1$ $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

Але це лінійна модель? де можна записати як ? Це запитання може здатися дивним, оскільки, як згадується у відповідях та коментарях, якщо ми побудуємо функцію кусочно, це не лінія. Будь ласка, дивіться наступний розділ, чому я задаю це питання. $f(x)=\beta^T x$

Редагувати:

Причиною, що я задаю це питання, є те, що логістична регресія є (узагальненою) лінійною моделлю, а межа прийняття рішення - це лінія, також для пень прийняття рішення. Зауважимо, у нас також є таке питання: Чому логістична регресія є лінійною моделлю? . З іншого боку, здається неправдою, що пень рішення є лінійною моделлю.

Ще одна причина, яку я запитав, це через це питання: Чи підсумовує, якщо базовим учнем є лінійна модель, чи кінцева модель є просто простою лінійною моделлю? де, якщо ми використовуємо лінійну модель в якості базового учня, ми отримуємо не що інше, як лінійну регресію. Але якщо ми виберемо базового учня як пень для прийняття рішення, ми отримуємо дуже цікаву модель.

Ось один із прикладів підвищення рівня пеньки на регресії з двома ознаками та 1 безперервною реакцією.

— Хайтао Ду
джерело

Чому ви вважаєте це лінійним? ..

— Тім

@ hxd1011 важливо розрізнити межу рішення та функцію прийняття рішення

— shadowtalker

Я міг би назвати це поліном 1000-го порядку з усіма порядками від 1 до 1000 рівним нулю. Я б міг назвати це моделлю нульового порядку (ака постійною), і вона більш докладно передасть ключові особливості. Класичне дерево кусково-постійне. Тривіальне дерево - пень - це єдиний розкол у просторі, де модель з одного боку є постійною, а з іншого - іншою постійною. Він не є глобально постійним, але також не є poly1. "Кубістична" бібліотека в R відповідає фактичним лінійним (poly1) моделям замість постійних моделей. Ви можете спробувати це.

— EngrStudent

Якщо ви намалюєте лінію в площині (скажімо, y = 0) і візьмете будь-яку функцію , то матимуть контурні лінії, які є фактичними лініями (паралельно осі ), але це не буде лінійною функцією.

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

— Меттью Друрі

Це дивне питання. Чи можете ви побудувати побудову функції зі свого прикладу (яка дорівнює 3 для х <2 та 5 для х> 2)? Подивіться на це - це пряма лінія? Якщо це не пряма, то це не лінійна функція.

— амеба каже: Поновіть Моніку

Відповіді:

Ні, якщо ви не перетворите дані.

Це лінійна модель, якщо перетворити за допомогою функції індикатора: $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Тоді $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Редагувати: про це згадувалося в коментарях, але я хочу також наголосити на цьому. Будь-яка функція, яка розділяє дані на дві частини, може бути перетворена в лінійну модель такої форми з перехопленням і єдиним входом (індикатор, на якій стороні розділу знаходиться точка даних). Важливо врахувати різницю між функцією прийняття рішення та межею рішення .

— shadowtalker
джерело

"трансформація" хитра, я думаю, що нейронна мережа (MLP) є нелінійною, але після трансформації вона лінійна ..

— Хайтао Ду

x^{'}

$x'$

x \leq 2

$x \leq 2$

@ hxd1011 відповідь "ні, якщо ви не перетворите дані"

— shadowtalker

Я б запропонував вам відредагувати свою відповідь, щоб вона включила "ні, якщо ви не перетворите в неї дані" (з останнього коментаря). Наразі ваші вступні слова "Це лінійна модель", і люди можуть заплутатися.

— амеба каже, що повернеться Моніка

Відповіді на ваші запитання:

Пень рішення не є лінійною моделлю.
Межею рішення може бути лінія, навіть якщо модель не є лінійною. Логістичний регрес - приклад.
Підвищена модель не повинна бути такою ж моделлю, як базовий учень. Якщо ви задумаєтесь, ваш приклад підвищення, а також питання, з яким ви пов’язали, доводить, що пень рішення не є лінійною моделлю.

— Флорандер
джерело

Ця відповідь є більш багатослівною, ніж потрібно, щоб просто відповісти на питання. Я сподіваюся спровокувати деякі коментарі реальних експертів.

Я колись був у залі суду і суддя запитав (з поважної причини в контексті), якщо ми називаємо собачий хвіст ногою, чи це означає, що собака має 5 ніг? Отже, що таке лінійна модель?

$f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$ з важливим обмеженням, що терміни помилки є незалежними і нормально розподіляються. З цим визначенням не можна сказати, чи ваша модель лінійна, оскільки ви не дали інформації про термін помилки. Якщо випадає обмеження терміну помилки, то воно є тавтологічно лінійним у функції, яку ви надаєте, або у функції, яку дає ssdecontrol. Однак, наївно, в контексті цього питання це може бути незадовільним. Будь-яка функція може вважатися основою лінійної в цьому сенсі. Це тому, що будь-який простір функцій може бути перетворений у векторний простір функцій.

$\beta$ $f(x) = \beta^{T} x$

$f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

— мех
джерело

Лінійність не має нічого спільного з помилками. Це пов'язано з тим, що вона складається з лінійної комбінації параметрів . Це являє собою пряму лінію у двовимірному просторі (але, загалом, являє собою площину).

— shadowtalker

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ . Однак функція буде лінійною

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

якщо на цьому він наполягає, то це його думка, а не якийсь важкий факт. Наскільки мені відомо, немає жодного суворого прийнятого визначення для "лінійної моделі", і немає потреби в такому. Для мене той факт, що є задіяний термін помилки, просто перетворює модель з "лінійної моделі" в "статистичну лінійну модель". Я не бачу нічого принципово лінійного щодо її термінів, а також не бачу нічого суто статистичного щодо лінійних моделей.

— shadowtalker

IMO наполягає на наявності помилкового терміну просто знижує те, що, скажімо, інженер або фізик можуть вважати "лінійною моделлю" детермінованого фізичного процесу.

— shadowtalker