Особливість важливості у науковому навчанні Random Forest демонструє дуже високий рівень стандартного відхилення

Я використовую випадковий класифікатор лісового науку і хочу вивчити важливість функції, наприклад, у цьому прикладі .

Однак мій результат зовсім інший, в тому сенсі, що значення важливості функції майже завжди більше, ніж значення функції (див. Додане зображення).

Чи можна мати таку поведінку, чи я роблю деякі помилки, будуючи це?

Мій код такий:

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier

clf = RandomForestClassifier()
clf.fit(predictors.values, outcome.values.ravel())

importance = clf.feature_importances_
importance = pd.DataFrame(importance, index=predictors.columns, 
                          columns=["Importance"])

importance["Std"] = np.std([tree.feature_importances_
                            for tree in clf.estimators_], axis=0)

x = range(importance.shape[0])
y = importance.ix[:, 0]
yerr = importance.ix[:, 1]

plt.bar(x, y, yerr=yerr, align="center")

plt.show()

Ви використовуєте RandomForest із типовою кількістю дерев, яка становить 10. Для приблизно 30 функцій це занадто мало. Тому стандартне відхилення велике. Спробуйте принаймні 100 чи навіть 1000 дерев, як

clf = RandomForestClassifier(n_estimators=1000)

Для більш досконалого аналізу ви також можете перевірити, наскільки велика кореляція між вашими особливостями.

Ваш результат не такий дивний. Як стверджує lanenok , вам слід на першому кроці збільшити кількість дерев, щоб переконатися, що ви отримаєте "статистичний" результат щодо імпортних ознак.

Однак, як і цей документ Genuer et al. (2010) показує, що ви можете фактично використовувати стандартні відхилення для усунення функцій. Цитую: " Ми можемо побачити, що стандартне відхилення справжніх змінних велике порівняно з гучним змінним, яке близьке до нуля ".

Спробуйте clf = RandomForestClassifier(max_features=None). Параметри max_featuresза замовчуванням, 'auto'які прирівнюються до sqrt(n_features). max_featuresописується як "Кількість функцій, які слід враховувати під час пошуку найкращого розколу". Лише перегляд невеликої кількості функцій у будь-якій точці дерева рішень означає, що важливість однієї функції може сильно відрізнятися у багатьох деревах. Отже, не дивіться на випадкову підмножину, просто перегляньте всі функції на кожному рівні дерева.

Поширеною причиною цього є те, що параметри, які ви надали (або за замовчуванням) RandomForestClassifierне підходять для вашого набору даних.

Поширеним способом вирішення цієї проблеми є пошук простору гіперпараметра, використовуючи, наприклад GridSearchCV:

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score, make_scorer

param_grid = {'n_estimators': [10, 100, 1000], 'max_features': [5, 10, 20, 30]}
clf = GridSearchCV(RandomForestClassifier(), param_grid, cv=5, scoring=make_scorer(accuracy_score))

param_gridтут перестановки параметрів, за якими потрібно шукати, і make_scorer(accuracy_score)міра, яку ви хочете оптимізувати.

Зверніть увагу, що accuracy_scoreпідходить для збалансованих наборів, але не для незбалансованих наборів. Виберіть відповідний показник для вашої конкретної мети.

Причин може бути кілька. Кількість дерев та глибина можуть змінити ваші результати. Якщо ваша модель не працює добре після вибору параметрів (перехресна перевірка тощо), можливо, тому, що ваші функції не дуже прогнозовані, тому їх вибирають майже «випадковим чином», що призводить до високих стандартних відхилень від дерева до дерева. Але є й інші можливості, наприклад, можливо, що ваші особливості сильно співвідносяться. Трохи більше інформації було б корисно.