Чи допомагає попереднє кластерування побудувати кращу модель прогнозування?

Для завдання моделювання збивання я розглядав:

1. Обчисліть k кластери для даних
2. Побудуйте k моделі для кожного кластеру окремо.

Обґрунтуванням цього є те, що немає чого доводити, що популяція субрибелів є однорідною, тому розумно вважати, що процес генерації даних може бути різним для різних "груп"

Моє запитання, чи це відповідний метод? Чи щось порушує, чи чомусь вважається поганим? Якщо так, то чому?

Якщо ні, ви поділилися б деякими найкращими практиками щодо цього питання? І друга річ - чи взагалі краще чи гірше робити прекластеризацію, ніж дерево моделей (Як визначено у Віттена, Франка - дерево класифікації / регресії з моделями на листках. Інтуїтивно здається, що етап дерева рішень - це лише інша форма кластеризації, але idk, якщо він має якісь переваги перед "нормальним" кластеризацією.).

Існує метод, який називається кластерною регресією, який вирішує подібну проблему (спочатку кластерні дані, а потім будують прогнозні моделі). Дивіться, наприклад, це.

Два пункти, які занадто довгі для коментаря:

• чисті кластери (тобто містять випадки одного класу) самі по собі не є проблемою: так звані однокласні класифікатори моделюють кожен клас незалежно від усіх інших. Вони можуть із цим прекрасно впоратися.

• Однак якщо кластери даних таким чином, що класи досить відокремлені, тобто кластери є досить чистими, це означає, що існує дуже сильна структура, структура, яку аналіз кластерів може знайти без керівництва мітками класів. Це означає, що певні типи класифікаторів, такі як методи найближчих сусідів, засновані на тій же мірі відстані, яка використовується кластерним аналізом, є відповідними даним.

• Інша можливість - ситуація, коли кластери не є чистими, але комбінація кластерних та класифікаційних методів може добре підходити для дерев. Дерево виконає частину кластеризації (і чисті вузли не вважаються проблемою.) Ось штучний приклад, 2-кластерна версія XOR-проблеми:
  

• Ще одним способом включення інформації кластера без ризику виникнення чистих кластерів було б використання кластеризації як кроку генерації функцій: додавання результатів аналізу кластерів як нових змінних до матриці даних.

• Ви запитуєте, чи погано це з якоїсь причини: одна помилка полягає в тому, що цей підхід веде до моделей з багатьма ступенями свободи. Вам доведеться бути особливо обережними, щоб не переодягатися.

• Подивіться на моделі на основі моделей, наприклад відповідь mbq тут, я думаю, що вони реалізують концепцію, дуже близьку до того, як ви шукаєте. Вони також можуть бути реалізовані як лісові: наприклад, пакет R mobForest .

Я зараз маю справу з подібною проблемою. У мене є сотні особливостей для створення класифікатора. Спробувавши різні моделі (наприклад: випадкові ліси, збільшення градієнта тощо), я все ще отримав низьку точність / відкликання. Тому я намагаюся зробити кластеризацію, а потім створити класифікатори в різних групах. Моє занепокоєння полягає в тому, як каже Аноні-Мус, як я можу отримати більше інформації від класифікатора, якщо використовую всю інформацію в кластеризації? Тож ось що я буду робити далі:

1. Використовуйте деякі функції (менше, за попередніми знаннями) для кластеризації.
2. Використовуйте інші функції (більше) для підготовки класифікаторів.

Я думаю, що це також може допомогти зменшити складність, хотілося б, щоб це допомогло.

Будівництво $k$ кластери і потім $k$відповідні моделі абсолютно здійсненні. Патологічний випадок, зазначений у коментарях, в якому кластери чудово відокремлюють змінні результати, створюють труднощі для класифікаторів, є теоретичною проблемою, але ця, на мою думку, малоймовірна (особливо у високому розмірі). Крім того, якщо ви могли створити такі кластери, ви могли б просто використовувати ці кластери для прогнозування!

Крім того, якщо процес починається з $N$ зразки, класифікатори можуть використовувати лише $N/k$зразки. Таким чином, більш потужним підходом було б використання кластерів для побудови єдиного класифікатора, який інтегрує неоднорідність у кластери, використовуючи суміш регресій. У кластеризації на основі моделей можна припустити, що дані генеруються в результаті розподілу сумішей$Y_i \sim N(\mu_i, \sigma_i^2)$ де $i=1$ з вірогідністю $\pi$ і $i=2$ з вірогідністю $1-\pi$ і $\mu_1 \neq \ \mu_2$ і $\sigma_1^2 \neq \sigma_2^2$. Регресія суміші - це розширення, яке дозволяє моделювати дані як залежні від співперемінних;$\mu_i$ замінюється на $\beta_i X_i$, де $\beta_i$повинні бути оцінені. Хоча цей приклад стосується універсального, гауссового випадку, рамки можуть вміщувати багато даних (мультиномний logit був би відповідним категоричним змінним). Пакет flexmix для R пропонує більш детальний опис і, звичайно, відносно простий і розширюваний спосіб реалізації цього підходу.

Крім того, у дискримінаційній обстановці можна спробувати включити кластерні завдання (жорсткі або м'які) як особливість для навчання алгоритму класифікації за вибором (наприклад, NB, ANN, SVM, RF тощо).

Ну, якщо ваші кластери справді хороші, ваші класифікатори будуть лайна. Тому що у них недостатньо перенаправлення в даних про навчання.

Скажіть, ваші кластери ідеальні, тобто чисті. Ви навіть не можете там правильно навчати класифікатора. Класифікаторам потрібні позитивні та негативні приклади!

Випадкові ліси дуже успішно роблять навпаки. Вони беруть випадкову вибірку даних, тренують класифікатор на цьому, а потім використовують усі навчені класифікатори.

Що може працювати, це використовувати кластеризацію, а потім тренувати класифікатор на кожній парі кластерів, принаймні, якщо вони досить не згодні (якщо клас розділений на два кластери, ви все одно не можете навчити там класифікатора!)