Математика за деревами класифікації та регресії

Чи може хто-небудь допомогти пояснити деякі математики, що стоять за класифікацією в CART? Я хочу зрозуміти, як відбуваються два основні етапи. Наприклад, я підготував класифікатор CART на наборі даних і використав тестовий набір даних для позначення його прогнозованої продуктивності, але:

1. Як обирається початковий корінь дерева?

2. Чому і як формується кожна гілка?

У моєму наборі даних 400 тисяч записів з 15 стовпцями та 23 класами досягає 100% точності з матриці плутанини, я використовую 10-кратну перехресну перевірку даних. Я був би дуже вдячний, якби хто-небудь міг допомогти пояснити етапи класифікації CART?

CART і дерева рішень, як алгоритми, працюють через рекурсивний розподіл навчального набору, щоб отримати максимально чисті підмножини для заданого цільового класу. Кожен вузол дерева асоціюється з певним набором записів який розділений конкретним тестом на функцію. Наприклад, розкол на суцільний атрибут може бути індукований тестом . Набір записів потім розподіляється на дві підмножини, що ведуть до лівої гілки дерева та правої.A A ≤ x $T$$A$$A \le x$$T$

$T_l = \{ t \in T: t(A) \le x \}$

і

$T_r = \{ t \in T: t(A) > x \}$

Аналогічно, категорична ознака може використовуватися для індукції розщеплення відповідно до її значень. Наприклад, якщо кожна гілка може бути індукована тестом .B = { b 1 , … , b k } i B = b $B$$B = \{b_1, \dots, b_k\}$$i$$B = b_i$

Крок поділу рекурсивного алгоритму для створення дерева рішень враховує всі можливі розбиття для кожної функції та намагається знайти найкращий відповідно до обраної міри якості: критерій розщеплення. Якщо ваш набір даних наводиться за наступною схемою

$$A_1, \dots, A_m, C$$

де є атрибутами, а - цільовим класом, всі розбиті кандидати генеруються та оцінюються за критерієм розщеплення. Розщеплення на безперервні атрибути і категоричні генеруються, як описано вище. Відбір найкращого розколу зазвичай здійснюється за допомогою домішок. Домішка материнського вузла повинна зменшуватися на розщеплення . Нехай є розщепленням, індукованим на множині записів , критерієм розщеплення, який використовує міру домішки є:$A_j$$C$$(E_1, E_2, \dots, E_k)$$E$$I(\cdot)$

$$\Delta = I(E) - \sum_{i=1}^{k}\frac{|E_i|}{|E|}I(E_i)$$

Стандартними домішковими заходами є ентропія Шеннона або індекс Джині. Більш конкретно, CART використовує індекс Джині, який визначений для множини наступним чином. Нехай - частка записів у класу тоді де - кількість класів.$E$$p_j$$E$$c_j$

$$p_j = \frac{|\{t \in E:t[C] = c_j\}|}{|E|}$$ $$\mathit{Gini}(E) = 1 - \sum_{j=1}^{Q}p_j^2$$ $Q$

Це призводить до домішки 0, коли всі записи належать до одного класу.

Як приклад, скажімо, що у нас є набір записів бінарних класів де розподіл класів - наступний варіант є гарним розщепленням для$T$$(1/2, 1/2)$$T$

ймовірність розподілу записів у дорівнює а - . Скажімо, що і однакового розміру, таким чином . Ми можемо бачити, що висока:$T_l$$(1,0)$$T_r$$(0,1)$$T_l$$T_r$$|T_l|/|T| = |T_r|/|T| = 1/2$$\Delta$

$$\Delta = 1 - 1/2^2 - 1/2^2 - 0 - 0 = 1/2$$

Наступний розкол гірший за перший і критерій розщеплення відображає цю характеристику. $\Delta$

$$\Delta = 1 - 1/2^2 - 1/2^2 - 1/2 \bigg( 1 - (3/4)^2 - (1/4)^2 \bigg) - 1/2 \bigg( 1 - (1/4)^2 - (3/4)^2 \bigg) = 1/2 - 1/2(3/8) - 1/2(3/8) = 1/8$$

Перший розкол буде обраний як найкращий розкол, а потім алгоритм протікає рекурсивно.

Класифікувати новий екземпляр за допомогою дерева рішень легко, насправді достатньо прослідкувати шлях від кореневого вузла до листа. Запис класифікується з мажоритарним класом листа, до якого він потрапляє.

Скажіть, що ми хочемо класифікувати квадрат на цій фігурі

це графічне зображення навчального набору, індукованого на схемі , де - цільовий клас, а і - дві безперервні ознаки.$A,B,C$$C$$A$$B$

Можливим деревом прийнятих рішень може бути наступне:

Зрозуміло, що квадрат записів буде класифікований на дереві рішень як коло, враховуючи, що запис падає на лист, позначений кружечками.

У цьому прикладі іграшки точність набору для тренувань становить 100%, оскільки жоден запис неправильно класифікується деревом. На графічному зображенні навчального набору вище ми бачимо межі (сірі пунктирні лінії), які дерево використовує для класифікації нових екземплярів.

Про дерева рішень є багато літератури, я хотів просто написати схематичний вступ. Ще одна відома реалізація - C4.5.

Я не фахівець з CART, але ви можете спробувати книгу "Елементи статистичного навчання", яка є у вільному доступі в Інтернеті (див. Розділ 9 для CART). Я вважаю, що книгу написав один із творців алгоритму CART (Фрідман).