Який взаємозв'язок між оцінкою GINI та коефіцієнтом ймовірності ймовірності

Я вивчаю класифікаційні та регресійні дерева, і одним із заходів щодо місця розбиття є оцінка GINI.

Зараз я звик визначати найкраще розділене місце, коли журнал коефіцієнта ймовірності одних і тих же даних між двома розподілами дорівнює нулю, тобто ймовірність членства однаково вірогідна.

Моя інтуїція говорить про те, що повинен бути якийсь зв’язок, що GINI повинен мати добру основу в математичній теорії інформації (Шеннон), але я не розумію GINI достатньо добре, щоб сам виводити відносини.

Запитання:

Яке виведення оцінки "домішок GINI" за першими принципами є мірою для розщеплення?
Як оцінка GINI пов'язана з коефіцієнтом вірогідності й іншими інформаційно-теоретичними основами (ентропія Шеннона, pdf та перехресна ентропія - це частина)?

Список літератури:

Ентропія Шеннона описується як:

H (x) = Σ_{i} P (x_{i}) \log_{b} P (x_{i})

$H \left(x \right) = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

Поширивши це на багатофакторний випадок, отримаємо:

H (X, Y) = Σ_{x} Σ_{y} P (x, y) \log_{b} P (x, y)

$H \left(X,Y \right)= \Sigma_{x}\Sigma_{y} P\left(x,y \right)\log_{b} P\left(x,y \right)$

Умовна ентропія визначається наступним чином:

\begin{aligned} H (X | Y) & = Σ_{y} p (x, y) \log_{b} \frac{p (x)}{p (x, y)} \\ or, \\ H (X | Y) & = H (X, Y) - H (Y) \end{aligned}

$\begin{align} H \left(X|Y \right) &= \Sigma_{y} p\left(x,y \right)\log_{b} \frac {p\left(x \right)} {p\left(x,y \right)} \newline &\text{or,} \newline H \left(X|Y \right) &= H \left(X,Y \right) - H \left(Y \right) \end{align}$

Журнал співвідношення ймовірностей використовується для виявлення різких змін і виводиться з їх допомогою. (Я не маю походження перед собою.)

Домішки GINI:

Загальна форма домішки GINI - $I = \sum_{i=1}^m f_{i} \cdot \left( 1-f_{i}\right)$

Думки:

Розщеплення проводиться за мірою домішки. Висока «чистота», ймовірно, така ж, як і низька ентропія. Цей підхід, ймовірно, пов'язаний з мінімізацією ентропії.
Цілком імовірно, що припущений розподіл основи є рівномірним або, можливо, з маханням рукою, гауссовим. Вони, ймовірно, роблять суміш розподілів.
Цікаво, чи може тут застосовуватися виведення діаграми Шеуарта?
Домішка GINI виглядає як інтеграл функції щільності ймовірності для біноміального розподілу з двома випробуваннями та одним успіхом. $P(x=k)= \begin{pmatrix} 2\\ 1\end{pmatrix} p \left( 1-p \right)$

(додатково)

Форма також узгоджується з бета-біноміальним розподілом, який є кон'югатом, який є попереднім для гіпергеометричного розподілу. Гіпергеометричні тести часто використовуються для визначення того, які зразки розміщені над чи під представленими у вибірці. Існує також відношення до точного тесту Фішера, що б там не було (зверніть увагу на себе, дізнайтеся більше про це).

Редагувати: Я підозрюю, що існує форма GINI, яка дуже добре працює з цифровою логікою та / або деревами rb. Я сподіваюсь вивчити це у класному проекті цієї осені.

— EngrStudent - Відновлення Моніки
джерело

Це проблематично, якщо я відповідаю на власне запитання?

— EngrStudent

Ні, зовсім ні. Якщо ви придумали те, що, на вашу думку, є розумною відповіддю, звільніть.

— gung - Відновити Моніку

@EngrStudent. гарне запитання, але перше посилання, яке ви надаєте у розділі посилань, стосується коефіцієнта Джині, який не має нічого спільного з мірою Джині, що використовується у КАРТІ

— Антуан

Щодо індексу Джині я щойно опублікував просту інтерпретацію: stats.stackexchange.com/questions/308885/…

— Picaud Vincent

Відповіді:

Я буду використовувати ті самі позначення, які я використовував тут: Математика за деревами класифікації та регресії

Критерії розщеплення, засновані на домішках, є Джині та приріст інформації ( ). Єдина різниця полягає у домішці функції : $IG$ $I$

$\textit{Gini}: \mathit{Gini}(E) = 1 - \sum_{j=1}^{c}p_j^2$
$\textit{Entropy}: H(E) = -\sum_{j=1}^{c}p_j\log p_j$

Вони насправді є окремими значеннями більш загальної міри ентропії (Ентропії Цалліса), параметризованої в : $\beta$

Н_{β} (Е) = \frac{1}{β - 1} (1 - \sum_{j = 1}^{c} p_{j}^{β})

$H_\beta (E) = \frac{1}{\beta-1} \left( 1 - \sum_{j=1}^{c}p_j^\beta \right)$

$\textit{Gini}$ отримується з а з . $\beta = 2$ $H$ $\beta \rightarrow 1$

Імовірність журналу, яка також називається -статистичною, є лінійною трансформацією посилення інформації: $G$

Г -статистичний = 2 \cdot | Е | \cdot Я Г

$G\text{-statistic} = 2 \cdot |E| \cdot IG$

Залежно від спільноти (статистики / обміну даними) люди віддають перевагу одному чи іншим заходам ( тут пов'язане питання ). Вони можуть бути набагато еквівалентними в процесі індукції дерева рішень. Імовірність журналу може дати більш високі бали для збалансованих розділів, коли існує багато класів [Технічна примітка. Брейман 1996].

Джині Гейн може бути приємнішим, оскільки він не має логарифмів, і ви можете знайти закриту форму для її очікуваного значення та дисперсії за припущенням випадкового розбиття [Алін Добра, Йоханнес Герке: Корекція зміщення в побудові класифікаційного дерева. ICML 2001: 90-97]. Це не так просто для отримання інформації (якщо вас цікавить, дивіться тут ).

— Сімона
джерело

Гарне питання. На жаль, у мене ще недостатньо репутації, щоб підтвердити або прокоментувати, тому відповідайте замість цього!

Я не дуже знайомий з тестом на співвідношення, але мені вражає, що це формалізм, який використовується для порівняння ймовірності даних, що виникають з двох (або більше) різних розподілів, тоді як коефіцієнт Джині є підсумковою статистикою одного розподілу.

Корисним способом мислити коефіцієнт Джіні (ІМО) є площа під кривою Лоренца (пов'язана з cdf).

Можливо, можна порівняти ентропію Шеннона з Джині, використовуючи визначення, задане в ОП для ентропії:

$H = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

та визначення Джині:

$G = 1 - \frac{1}{\mu}\Sigma_i P(x_i)(S_{i-1} + S_i)$ , де

$S_i = \Sigma_{j=1}^i P(x_i)x_i$ (тобто середнє значення сукупності до ). $x_i$

Це не схоже на легке завдання!

— Габріель
джерело

Коефіцієнт вірогідності журналу керується тими ж даними. Один з розподілів може мати таку ж загальну форму, як і інший, але його параметри підходили до даних, коли якийсь інший критерій був істинним. Наприклад, у вас може бути один розподіл, параметри якого описують здорову зміну виробничого процесу (не обов'язково гауссова), а інший, який підходить до поточних значень виробничого процесу, і працює як на поточних значеннях виробничого процесу, порівнюючи коефіцієнт ймовірності журналу з пороговим значенням, що вказує можливість екскурсії. Його можна порівняти з ідеальним.

— EngrStudent