Чому поліноміальна регресія вважається особливим випадком множинної лінійної регресії?

Якщо поліноміальна регресія моделює нелінійні зв’язки, як це можна вважати особливим випадком множинної лінійної регресії?

У Вікіпедії зазначається, що «Хоча поліноміальна регресія відповідає нелінійній моделі даним, однак проблема статистичного оцінювання є лінійною, в тому сенсі, що функція регресії лінійна в невідомих параметрах, що оцінюються з даних ".$\mathbb{E}(y | x)$

Як поліноміальна регресія лінійна в невідомих параметрах, якщо параметри є коефіцієнтами для доданків із порядком 2?$\ge$

Коли ви підходите до регресійної моделі, такої як , модель та Оцінювач OLS не знають, що - просто квадрат , він просто "думає", що це ще одна змінна. Звичайно, є певна колінеарність, і вона вписується в придатність (наприклад, стандартні помилки є більшими, ніж могли б бути в іншому випадку), але багато пар змінних можуть бути дещо колінеарними, без того, щоб одна з них була функцією іншої. х 2 я х$\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$$x^2_i$$x_i$

Ми не визнаємо, що в моделі є насправді дві окремі змінні, оскільки ми знаємо, що в кінцевому підсумку та сама змінна, що і яку ми перетворили та включили для того, щоб захопити криволінійну залежність між та . Саме знання про справжню природу поєднанні з нашою вірою в те, що між та існує криволінійний взаємозв'язок - це те, що нам важко зрозуміти те, як воно все ще лінійне з точки зору моделі. Крім того, ми візуалізуємо та x i x i y i x 2 i x i y i x i x 2 i x , $x^2_i$$x_i$$x_i$$y_i$$x^2_i$$x_i$$y_i$$x_i$$x^2_i$разом, дивлячись на граничну проекцію функції 3D на площину 2D . $x, y$

Якщо у вас є лише та , ви можете спробувати візуалізувати їх у повному 3D-просторі (хоча насправді все ще досить складно побачити, що відбувається). Якщо ви подивилися на пристосовану функцію у повному 3D-просторі, то побачили б, що вбудована функція є двовимірною площиною, і більше того, що вона є плоскою площиною. Як я кажу, важко добре бачити, оскільки дані існують лише уздовж кривої лінії, що проходить через цей 3D-простір (це факт є візуальним проявом їх колінеарності). Ми можемо спробувати це зробити тут. Уявіть, що це приталена модель: x 2 i x i , x 2 $x_i$$x^2_i$$x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

На цих зображеннях може бути простіше бачити зображення екрану обертової 3D фігури, зробленої з тими ж даними за допомогою rglпакета.

$p$$p$$p\!+\!1$

$y = a + bx + cx^2$$x$$a$$b$$c$$y = \sum_{i=0}^N a_i h_i(x)$$h_i$$x$$h_i$$x$