Як класифікувати за випадковими лісами в R, як слід регулювати незбалансовані розміри класів?

Я вивчаю різні методи класифікації проекту, над яким я працюю, і мені цікаво спробувати випадкові ліси. Я намагаюся просвітити себе, коли я йду разом, і буду вдячний за будь-яку допомогу, надану спільнотою CV.

Я розділив свої дані на навчальні / тестові набори. Від експериментів зі випадковими лісами в R (використовуючи пакет randomForest) у мене виникли проблеми з високим рівнем помилок для мого меншого класу. Я прочитав цю статтю про ефективність випадкових лісів за незбалансованими даними, і автори представили два методи боротьби з класовим дисбалансом при використанні випадкових лісів.

1. Зважені випадкові ліси

2. Збалансовані випадкові ліси

Пакет R не дозволяє зважувати класи (з форумів довідки R, я прочитав, що параметр classwt не працює належним чином і планується як майбутнє виправлення помилок), тому мені залишається варіант 2. Я можу вказати кількість об'єктів, відібраних у кожному класі для кожної ітерації випадкового лісу.

Мені стає непросто встановити однакові розміри вибірки для випадкових лісів, тому що я відчуваю, що втрачаю надто багато інформації про великий клас, що призводить до низької продуктивності з майбутніми даними. Показники помилкових класифікацій при зменшенні тиражування більшого класу показали поліпшення, але мені було цікаво, чи існують інші способи боротьби з незбалансованими розмірами класів у випадкових лісах?

Якщо вам не подобаються ці варіанти, чи розглядали ви замість цього метод прискорення? З огляду на відповідну функцію втрат, прискорення автоматично повторно калібрує ваги в міру його проходження. Якщо стохастичний характер випадкових лісів до вас звертається, то стохастичне збільшення градієнта створює і це.

Я думаю, що зважування предметів якимось чином рівнозначне їх дублюванню. Можливо, вам слід спробувати змінити крок завантажувальної програми, шляхом відповідного відбору проб для різних класів.

$0.5$

Замість вибірки великих класів ви можете розширити малі класи! Якщо великі класи мають у багато разів більше спостереження, ніж малі, то зміщення буде невеликим. Я сподіваюся, що ви можете впоратися з цим надзвичайним набором даних.

Ви також можете визначити підмножини спостережень, які обробляють найбільшу інформацію про великі класи, існує безліч можливих процедур, найпростіша, на мою думку, заснована на методі найближчих сусідів - вибіркове спостереження, обумовлене структурою графіка сусідства, гарантує, що вибірка матиме щільність ймовірності більш схожу на оригінальний.

randomForest написаний у Fortran і c, вихідний код доступний (http://cran.r-project.org/src/contrib/randomForest_4.6-2.tar.gz), але я не можу визначити місце, де обчислюється ентропія, пс. ДБЖ, які випадковим лісом використовують Джині замість ентропії

(1) Ви маєте рацію, що функція зважування не працює, і не впевнений, що вона коли-небудь була зафіксована.

(2) Найчастіше використовується варіант 2 із збалансованими даними. Ключовим фактором не втрачається занадто багато даних є стратифікована вибірка. Ви випадково вибираєте унікальний збалансований набір для кожного дерева.

Синтетичне перевищення вибірки меншин (SMOTE) породжує нові спостереження класу меншості як випадкові опуклі комбінації сусідніх спостережень. Робота тут: https://bmcbioinformatics.biomedcentral.com/articles/10.1186/1471-2105-14-106