Зменшення Джині та домішка Джині у дитячих вузлах

Я працюю над мірою важливості функції Джині для випадкових лісів. Тому мені потрібно обчислити зменшення домішки вузла Джіні. Ось як я це роблю, що призводить до конфлікту з визначенням, що говорить про те, що я десь повинен помилятися ... :)

Для двійкового дерева та, враховуючи ймовірність лівих і правих дітей, я можу обчислити домішку Джині вузла $n$ :

i (n) = 1 - p_{l}^{2} - p_{r}^{2}

$i(n) = 1 - p_l^2 - p_r^2$

І зменшення Джині:

Δ i (n) = i (n) - p_{l} i (n_{l}) - p_{r} i (n_{r})

$\Delta i(n) = i(n) - p_li(n_l) - p_ri(n_r)$

Отже, для цього прикладу зі 110 спостереженнями на вузлі:

- node (110)
   - left (100)
      - left_left (60)
      - left_right (40)
   - right (10)
      - right_left (5)
      - right_right (5)

Я б обчислив зменшення Джині для вузла так:

\begin{aligned} i (l e f t) & = 1 - (60 / 100)^{²} - (40 / 100)^{²} & = 0.48 \\ i (r i g h t) & = 1 - (5 / 10)^{²} - (5 / 10)^{²} & = 0.50 \\ i (n o d e) & = 1 - (100 / 110)^{²} - (10 / 110)^{²} & = 0,16 \end{aligned}

$\begin{align} i({\rm left}) &= 1 - (60/100)^² - (40/100)^²& &= 0.48 \\ i({\rm right}) &= 1 - (5/10)^² - (5/10)^²& &= 0.50 \\ i({\rm node}) &= 1 - (100/110)^² - (10/110)^²& &= 0.16 \end{align}$

Але після визначення Бреймана (або цієї відповіді на резюме: Як виміряти / класифікувати "змінну важливість" при використанні CART , але я не маю доступу до посилальної книги), критерій домішки нащадка повинен бути меншим, ніж батьківський вузол:

Важливість Джині
Кожного разу, коли розбиття вузла робиться на змінну m, критерій домішки Джині для двох нащадкових вузлів є меншим, ніж батьківський вузол. Додавання зменшення джині для кожної окремої змінної для всіх дерев у лісі надає важливої швидкості змінної, яка часто дуже відповідає мірі важливості перестановки.

Тому що в іншому випадку це призводить до негативного зниження Джині ...

Δ i (n o d e) = i (n o d e) - (100 / 110) * i (l e f t) - (10 / 110) * i (r i g h t) = - 0.32

$\Delta i({\rm node}) = i({\rm node}) - (100/110)*i({\rm left}) - (10/110)*i({\rm right}) = -0.32$

Отже, якби хтось міг сказати, де я помиляюся, я був би дуже вдячний, бо, схоже, я пропускаю щось очевидне тут ...

feature-selection random-forest cart

— Ремі Меліссон
джерело

Ви просто взагалі не використовували змінну цільового класу. Домішка Джині, як і всі інші функції домішок, вимірює домішки виходів після розщеплення. Що ви зробили, це виміряти щось, використовуючи лише розмір вибірки.

Я намагаюся отримати формулу для вашого випадку.

Припустимо, для простоти у вас є двійковий класифікатор. Позначимо з тестовий атрибут, з - атрибут класу, який має значення . $A$ $C$ $c_+, c_-$

Початковий індекс Джині перед розщепленням задається де - частка точок даних, які мають значення для класу змінна.

I (A) = 1 - P (A_{+})^{2} - P (A_{-})^{2}

$I(A) = 1 - P(A_+)^2 - P(A_-)^2$

P (A_{+})

$P(A_+)$

c_{+}

$c_+$

Тепер домішка для лівого вузла була б де - пропорція точок даних з лівої підмножини які мають значення у змінній класу тощо.

I (A l) = 1 - P (A l_{+})^{2} - P (A l_{-})^{2}

$I(Al) = 1 - P(Al_+)^2-P(Al_-)^2$

I (A r) = 1 - P (A r_{+})^{2} - P (A r_{-})^{2}

$I(Ar) = 1 - P(Ar_+)^2-P(Ar_-)^2$

P (A l_{+})

$P(Al_+)$

A

$A$

c_{+}

$c_+$

Тепер остаточною формулою для GiniGain була б

G i n i G a i n (A) = I (A) - p_{l e f t} I (A l) - p_{r i g h t} I (A r)

$GiniGain(A) = I(A) - p_{left}I(Al) - p_{right}I(Ar)$ де - частка примірників для лівого підмножини, або (скільки екземплярів перебувають у лівому підмножині , поділене на загальну кількість примірників з .

p_{l e f t}

$p_{left}$

\frac{# | A l |}{# | A l | + # | A r |}

$\frac{\#|Al|}{\#|Al|+\#|Ar|}$

A

$A$

Я відчуваю, що моє позначення можна було б покращити, я буду дивитись пізніше, коли у мене буде більше часу.

Висновок

Використання лише кількості точок даних недостатньо, домішка означає, наскільки одна особливість (тестова функція) здатна відтворити розподіл іншої функції (ознака класу). Тестовий розподіл функцій видає число, яке ви використовували (як ліворуч, як праворуч), але розподіл функції класу у ваших формулах не використовується.

Пізніше редагуйте - доведіть, чому вона зменшується

Тепер я помітив, що я пропустив ту частину, яка доводить, чому завжди індекс джині на дочірньому вузлі менше, ніж на батьківському вузлі. У мене немає повного доказу чи перевіреного, але я думаю, що це вагомий доказ. Для іншої цікавої речі, пов'язаної з темою, ви можете перевірити Технічну примітку: Деякі властивості критеріїв розщеплення - Лео Брейман . Тепер воно піде за моїм доказом.

Припустимо , що ми в довічним випадку, і все значення у вузлі може бути повністю описується парою зі значенням примірників першого класу, і примірників другого класу. Ми можемо констатувати, ніж це у батьківському вузлі, у якого є екземпляри. $(a,b)$ $a$ $b$ $(a,b)$

Для того, щоб знайти найкращий розділ, ми сортуємо екземпляри за допомогою тестової функції і намагаємося всі можливі бінарні розбиття. Сортування за заданою ознакою насправді є перестановкою екземплярів, в яких класи починаються з екземпляра першого або другого класу. Не втрачаючи загальності, ми припустимо, що він починається з екземпляра першого класу (якщо це не так, у нас є дзеркальне підтвердження з тим же розрахунком).

Перший розділ, який слід спробувати, - у лівому та правому екземплярах. Яким чином індекс джині для тих можливих кандидатів для лівого і правого дочірніх вузлів порівнюється з батьківським вузлом? Очевидно, що зліва у нас . Тож у лівій частині ми маємо менше значення індексу джині. Як щодо правого вузла? $(1,0)$ $(a-1,b)$ $h(left) = 1 - (1/1)^2 - (0/1)^2 = 0$

h (p a r e n t) = 1 - (\frac{a}{a + b})^{2} - (\frac{b}{a + b})^{2}

$h(parent) = 1 - (\frac{a}{a+b})^2 - (\frac{b}{a+b})^2$

h (r i g h t) = 1 - (\frac{a - 1}{(a - 1) + b})^{2} - (\frac{b}{(a - 1) + b})^{2}

$h(right) = 1 - (\frac{a-1}{(a-1)+b})^2 - (\frac{b}{(a-1)+b})^2$

Враховуючи, що більший або дорівнює (оскільки в іншому випадку, як ми могли відокремити екземпляр першого класу в лівому вузлі?) І після спрощення зрозуміти, що індекс gini для правого вузла має менше значення, ніж для батьківський вузол. $a$ $0$

Тепер завершальним етапом доказу є те, що, розглядаючи всі можливі точки розщеплення, продиктовані отриманими нами даними, ми зберігаємо ту, яка має найменший сумарний індекс Джині, що означає, що вибраний нами оптимум є меншим або рівним, ніж тривіальний той, який я довів, що менший. Що робить висновок, що врешті-решт індекс джині зменшиться.

В якості остаточного висновку ми маємо зазначити, навіть якщо різні розщеплення можуть дати значення, що перевищують цей батьківський вузол, те, що ми обираємо, буде найменшим серед них, а також меншим, ніж значення батьківського індексу Джині.

Сподіваюся, це допомагає.

— rapaio
джерело

Дуже дякую, ви розблокували мій мозок ... Насправді, оскільки я маю справу з деревами регресії, використання змінної цільового класу виявилося менш очевидною, ніж для чистого завдання класифікації. Але тепер це абсолютно має сенс.

— Ремі Меліссон

Я оновив відповідь, щоб містити відсутні частини.

— rapaio