Стратифікована класифікація з випадковими лісами (або іншим класифікатором)

Отже, у мене є матриця розміром приблизно 60 х 1000. Я розглядаю її як 60 об'єктів з 1000 особливостями; 60 об’єктів об’єднані в 3 класи (a, b, c). 20 предметів у кожному класі, і ми знаємо справжню класифікацію. Мені хотілося б вивчити під контролем цей набір з 60 прикладів навчання, і мене цікавлять як точність класифікатора (і пов'язані з ним показники), так і вибір функції на 1000 функцій.

По-перше, як моя номенклатура?

Тепер справжнє питання:

Я міг би кинути на нього випадкові ліси, як це зазначено, або будь-яку кількість інших класифікаторів. Але є тонкощі - я дійсно дбаю лише про те, щоб відрізняти клас c від класів a і b. Я міг би об'єднати класи a і b, але чи є хороший спосіб використовувати апріорні знання про те, що всі об'єкти, що не стосуються c, ймовірно, утворюють два різних кластери? Я вважаю за краще використовувати випадкові ліси або їхні варіанти, оскільки це було показано, що він ефективний для даних, подібних до моїх. Але я міг би переконатись, спробувавши деякі інші підходи.

чи є хороший спосіб використовувати апріорні знання про те, що всі об'єкти, що не входять в C, ймовірно, утворюють два різних кластери

Якщо ви використовуєте метод, заснований на дереві, я не думаю, що це має значення, оскільки ці класифікатори розділяють простір функцій, то подивіться на частку зразків у кожному класі. Отже, важливо лише відносне виникнення класу c у кожному кінцевому вузлі.

Якщо ви використовували щось на зразок суміші нормалів, LDA тощо, поєднання двох кластерів було б поганою ідеєю (якщо припустити, що класи a і b утворюють унікальні кластери). Тут потрібно зберегти структуру класів, щоб точно описати простір функцій, який відображається на a, b і c. Ці моделі передбачають, що функції для кожного класу мають різний нормальний розподіл. Якщо ви поєднаєте a і b, ви змусите один нормальний розподіл підходити до суміші.

Підсумовуючи дерева, це не має великого значення, якщо ви:

I. Створіть три класифікатори (1. a vs b, 2. a vs c і 3. b vs c), після чого прогнозуйте методом голосування.

II. Об’єднайте класи a і b, щоб утворити двокласну задачу.

ІІІ. Прогнозуйте всі три класи, а потім передбачте передбачення на значення двох класів (наприклад, f (c) = c, f (a) = не c, f (b) = не c).

Однак якщо ви використовуєте метод, який відповідає розподілу для кожного класу, то уникайте II. і перевірити, хто з І. або III. працює краще для вашої проблеми