Випадковий ліс витончений

Я намагаюся використовувати випадкову регресію лісу в науках-учах. Проблема в тому, що я отримую дійсно високу помилку тесту:

train MSE, 4.64, test MSE: 252.25.

Ось так виглядають мої дані: (синій: реальні дані, зелений: передбачуваний):

Я використовую 90% для тренувань і 10% для тесту. Це код, який я використовую після спробу декількох комбінацій параметрів:

rf = rf = RandomForestRegressor(n_estimators=10, max_features=2, max_depth=1000, min_samples_leaf=1, min_samples_split=2, n_jobs=-1) 
test_mse = mean_squared_error(y_test, rf.predict(X_test))
train_mse = mean_squared_error(y_train, rf.predict(X_train))

print("train MSE, %.4f, test MSE: %.4f" % (train_mse, test_mse))
plot(rf.predict(X))
plot(y)

Які можливі стратегії для поліпшення мого пристосування? Чи є ще щось, що я можу зробити, щоб витягти базову модель? Мені здається неймовірним, що після стількох повторень одного шаблону модель поводиться так погано з новими даними. Чи я взагалі маю надію намагатися відповідати цим даним?

Я думаю, ви використовуєте неправильний інструмент; якщо весь ваш X еквівалентний індексу, ви в основному маєте якусь вибіркову функцію і намагаєтесь її екстраполювати. Машинне навчання - це все, що стосується інтерполяції історії, тому не дивно, що в цьому випадку вона набрала вражаючих невдач.$f:\mathbb{R}\rightarrow\mathbb{R}$

Вам потрібен аналіз часових рядів (тобто вилучення тенденції, аналіз спектру та авторегрес чи HMMing решти) або фізика (тобто, думка, чи є ОДЕ, який може виробляти такий вихід і намагається відповідати його параметрам за збереженими величинами).

Найбільша проблема полягає в тому, що дерева регресії (та алгоритми, засновані на них, як випадкові ліси) передбачають кусочно постійні функції, даючи постійне значення для входів, що потрапляють під кожен лист. Це означає, що при екстраполяції за межами навчального домену вони просто прогнозують те саме значення, що і для найближчої точки, в якій вони мали дані про навчання. @mbq правильно, що існують спеціалізовані інструменти для вивчення часових рядів, які, ймовірно, будуть кращими, ніж загальні методи машинного навчання. Однак випадкові ліси є особливо поганими для цього прикладу, і там, звичайно, інші загальні методи ML можуть бути набагато кращими, ніж те, що ви бачите. SVM з нелінійними ядрами - це один із варіантів, який спадає на думку. Оскільки ваша функція має періодичну структуру, це також пропонує працювати з частотною областю,

Це приклад підручника для перевиконання даних, модель дуже добре працює на підготовлених даних, але згортається на будь-які нові тестові дані. Це одна з стратегій вирішення цього питання: Зробіть десятикратну перехресну валідацію навчальних даних для оптимізації параметрів.

Крок 1. Створіть функцію мінімізації MSE за допомогою оптимізації NM. Приклад можна побачити тут: http://glowingpython.blogspot.de/2011/05/curve-fitting-using-fmin.html

Крок 2. У рамках цієї функції мінімізації є мета зменшення ПДЧ. Для цього створіть десятикратний поділ даних, коли нова модель вивчається в 9 разів і перевіряється на 10-й складці. Цей процес повторюють десять разів, щоб отримати MSE на кожному складі. У результаті поставленої мети повертається агрегований МСЕ.

Крок 3. Fmin в python зробить ітерації для вас. Перевірте, які гіпер-параметри необхідні для точного налаштування (n_estimators, max_features тощо) та передайте їх fmin.

Результатом стануть найкращі гіпер-параметри, які зменшать можливість перенапруги.

Деякі пропозиції:

1. Налаштуйте параметри за допомогою підходу до прокатного вікна (модель повинна бути оптимізована для прогнозування наступних значень у часовому ряду, а не для прогнозування значень серед наданих)
2. Спробуйте інші моделі (навіть більш прості, з правильним вибором функцій та стратегіями інженерних можливостей, можливо, вони виявляться найбільш підходящими для вашої проблеми)
3. Спробуйте дізнатися оптимальні перетворення цільової змінної (налаштуйте це теж, є негативна лінійна / експоненціальна тенденція, можливо, ви зможете її оцінити)
4. Можливо, спектральний аналіз
5. Максимуми / мінімуми однаково розташовані, здається. Дізнайтеся, де їм надаються ваші функції (немає оператора, введіть алгоритм, щоб усунути зміщення) та додайте це як функцію. Також інженер особливість nearest maximum. Данно, це може спрацювати, а може й ні, ви можете знати лише, чи протестуєте ви його :)

$x^2$$x_2$

Прочитавши вище повідомлення, я хочу дати ще одну іншу відповідь.

Для моделей на основі дерев, таких як випадковий ліс, вони не можуть екстраполювати значення за межі навчального набору. Отже, я не думаю, що це надмірна проблема, але неправильна стратегія моделювання.

Отже, що ми можемо зробити для прогнозування часових рядів за допомогою моделі дерева?

Можливий спосіб - це поєднувати його з лінійною регресією: спочатку зменшити часовий ряд (або тенденцію моделювання з лінійною регресією), потім моделювати залишок із деревами (залишки обмежені, щоб дерева дерева могли з цим впоратися).

Крім того, існує деревна модель у поєднанні з лінійною регресією, яка може екстраполювати, називається кубістською, вона робить лінійну регресію на листі.

Якщо ви просто хочете передбачити в межах графіка, то проблема рандомізації спостережень перед розділенням набору даних повинна вирішити проблему. Потім це стає проблемою інтерполяції від екстраполяції, як показано.