Поліноміальна регресія за допомогою scikit-learn

Я намагаюся використовувати scikit-learn для поліноміальної регресії. З того, що я читаю, поліноміальна регресія є особливим випадком лінійної регресії. Я сподівався, що, можливо, одна із узагальнених лінійних моделей scikit може бути параметризована для розміщення поліномів вищого порядку, але я не бачу варіанту для цього.

Мені вдалося скористатись регрессором векторної підтримки з поліядерним ядром. Це добре працювало з підмножиною моїх даних, але потрібно багато часу, щоб підходити до більших наборів даних, тому мені все одно потрібно знайти щось швидше (навіть якщо торгувати певною точністю).

Чи пропускаю я щось очевидне тут?

З огляду на дані , вектор стовпця та , цільовий вектор, ви можете виконати поліноміальну регресію, додавши поліноми . Наприклад, врахуйте, якщо$\mathbf{x}$$\mathbf{y}$$\mathbf{x}$

$$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$$

Використання саме цього вектора в лінійній регресії має на увазі модель:

$$y = \alpha_1 x$$

Ми можемо додати стовпці, що є потужностями вектора вище, які представляють додавання поліномів до регресії. Нижче ми показуємо це для поліномів до потужності 3:

$$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$$

Це наша нова матриця даних, яку ми використовуємо в лінійній регресії sklearn, і вона представляє модель:

$$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$$

---

Зауважте, що я не додав постійний вектор , оскільки sklearn автоматично включить це.$1$

Теорія

Поліноміальна регресія - особливий випадок лінійної регресії. Основна ідея того, як ви вибираєте свої функції. Дивлячись на багатоваріантну регресію з двома змінними: x1і x2. Лінійна регресія виглядатиме так:y = a1 * x1 + a2 * x2.

Тепер ви хочете мати поліноміальну регресію (зробимо многочлен 2 ступеня). Ми створимо кілька додаткових функцій: x1*x2, x1^2і x2^2. Таким чином, ми отримаємо вашу "лінійну регресію":

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

Це добре показує важливе поняття прокляття розмірності , оскільки кількість нових ознак зростає набагато швидше, ніж лінійно зі зростанням ступеня полінома. Ви можете поглянути на цю концепцію тут .

Тренуйтеся з scikit-learn

Не потрібно все це робити в scikit. Поліноміальна регресія вже доступна там (у версії 0.15 . Перевірте, як її оновити тут ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

Якщо ви використовуєте багатоваріантну регресію, а не просто одноманітну регресію, не забувайте перехресні умови. Наприклад, якщо у вас є дві змінні і , і ви хочете, щоб поліноми до потужності 2, вам слід використовувати де останній член ( ) - це я Говорячи про.x 2 y = a 1 x 1 + a 2 x 2 + a 3 x 2 1 + a 4 x 2 2 + a 5 x 1 x 2 a 5 x 1 x $x_1$$x_2$$y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$$a_5x_1x_2$