Чи використовує випадковий ліс Бреймана посилення інформації або індекс Джині?

Мені хотілося б знати, чи використовує випадковий ліс Бреймана (випадковий ліс у пакеті R randomForest) як критерій розщеплення (критерій вибору атрибутів) посилення інформації або індекс Джині? Я спробував це знайти на http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm та в документації для пакету randomForest в R. Але єдине, що я знайшов - це те, що індекс Джині можна використовувати для обчислення з різною важливістю.

Пакет randomForest в R від A. Liaw - це порт вихідного коду, що представляє собою суміш c-коду (перекладеного), який залишився код fortran та код R обгортки. Для вирішення загального найкращого поділу на точки перерви та між змінними mtry, код використовує функцію оцінки, схожу на gini-посилення:

$GiniGain(N,X)=Gini(N)-\frac{\lvert N_{1} \rvert }{\lvert N \rvert }Gini(N_{1})-\frac{\lvert N_{2} \rvert }{\lvert N \rvert }Gini(N_{2})$

$X$$N$$N_{1}$$N_{2}$$N$$\lvert . \rvert$

$Gini(N)=1-\sum_{k=1}^{K}p_{k}^2$$K$

$Gini(N)$

$\frac{\lvert N_{2} \rvert }{\lvert N \rvert }Gini(N_{2}) \propto |N_2| Gini(N_{2}) = |N_2| (1-\sum_{k=1}^{K}p_{k}^2 ) = |N_2| \sum \frac{nclass_{2,k}^2}{|N_2|^2}$

$nclass_{1,k}$$|N_2|$

$1-$

$|N_1| \sum_{k=1}^{K}p_{1,k}^2 + |N_2| \sum_{k=1}^{K}p_{2,k}^2 = |N_1|\sum_{k=1}^{K}\frac{nclass_{1,k}^2}{|N_1|^2} + |N_2|\sum_{k=1}^{K}\frac{nclass_{2,k}^2}{|N_2|^2}$ $= \sum_{k=1}^{K}\frac{nclass_{2,k}^2}{1} |N_1|^{-1} + \sum_{k=1}^{K}\frac{nclass_{2,k}^2}{1} |N_1|^{-2}$ $= nominator_1/denominator_1 + nominator_2/denominator_2$

Реалізація також дозволяє здійснювати класичне зважування зразків вгору / вниз. Також дуже важливо, коли впровадження оновлення цього модифікованого gini-посилення, переміщення одного зразка з одного вузла в інший є дуже ефективним. Зразок можна віднести від номінаторів / знаменників одного вузла та додати до інших. Я писав прототип-RF кілька місяців тому, необізнано перераховуючи з нуля gini-посилення для кожного перелому, і це було повільніше :)

Якщо кілька балів за розділення найкращі, вибирається випадковий переможець.

Ця відповідь ґрунтувалася на перевірці вихідного файлу "randomForest.xxtar.gz / src / classTree.c" рядка 209-250