Чи є алгоритми дерева рішень лінійними чи нелінійними

21

Нещодавно в інтерв'ю мого друга запитали, чи алгоритми дерева рішень є лінійними чи нелінійними. Я намагався шукати відповіді на це питання, але не зміг знайти жодного задовільного пояснення. Чи може хтось відповісти та пояснити рішення цього питання? Також які ще є приклади нелінійних алгоритмів машинного навчання?

— користувач2966197
джерело

Цікаво, в якому контексті вони мали на увазі це, регресія, лінійно відокремлювані дані?

— image_doctor

1

Вони, ймовірно, означали межу між класами; він складається з гіперпланів чи ні.

— Емре

17

Дерево рішень не є лінійним відображенням Xв y. Це легко зрозуміти, якщо взяти довільну функцію і створити дерево на максимальній глибині.

Наприклад:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Звичайно, це повністю перестане дерево і не буде узагальнювати. Але це демонструє, чому дерево рішень є нелінійним відображенням.

— інверсія
джерело

10

Нещодавно мого друга запитали в інтерв'ю алгоритм дерева рішень лінійним чи нелінійним алгоритмом

Дерева рішень є нелінійним класифікатором, як нейронні мережі тощо. Зазвичай використовується для класифікації нелінійно відокремлюваних даних.

Навіть якщо розглядати приклад регресії, дерево рішень нелінійне.

Наприклад, лінія лінійної регресії виглядатиме приблизно так:

Червоні точки - це точки даних.

І графік регресії дерева рішень виглядатиме приблизно так:

Отже, чітко дерева рішень нелінійні

— Зорі33
джерело

Збільшення глибини дерева призвело б до більшої насадки, а отже, до більш нелінійної структури.

— Світанок33

3

Дерева рішень нелінійні. На відміну від лінійної регресії немає рівняння для вираження зв'язку між незалежними та залежними змінними.

Наприклад:

Лінійний регрес - ціна фруктів = b0 + b1 * Свіжість + b2 * Розмір

Дерево рішень - Вузли: Стиглі - Так чи ні | Свіжий - так чи ні | Розмір - <5,> 5, але <10 і> 10 |

У другому випадку немає лінійної залежності між незалежними та залежними змінними.

3

Як багато хто зазначав, дерево регресії / рішення є нелінійною моделлю. Однак зауважте, що це кусково-лінійна модель: у кожному районі (визначеному нелінійним способом) вона є лінійною. Насправді модель - просто локальна константа.

$\theta$

y_{i} = α_{1} 1 (x_{i} < θ) + α_{2} 1 (x_{i} \geq θ) + ϵ_{i}

$y_i = \alpha_1 1(x_i < \theta) + \alpha_2 1(x_i \geq \theta) + \epsilon_i$

$1(A)$

— Матифу
джерело

2

$VC$ $2^d$ $d$ $2^{2^d}$ $m$ $d$ $min(2^d, m)$ ID3C4.5

— ЗМІ
джерело