Розуміння форми інтервалу довіри для поліноміальної регресії (MLR)

У мене є труднощі зрозуміти форму довірчого інтервалу поліноміальної регресії.

Ось штучний приклад, . На лівій фігурі зображено UPV (немасштабна дисперсія прогнозу), а правий графік показує довірчий інтервал та (штучні) вимірювані точки при X = 1,5, X = 2 та X = 3.$\hat{Y}=a+b\cdot X+c\cdot X^2$

Деталі основних даних:

• набір даних складається з трьох точок даних (1.5; 1), (2; 2.5) та (3; 2.5).

• кожна точка була "виміряна" 10 разів, і кожне вимірюване значення належить . На 30 результуючих точках було проведено MLR з пойномальною моделлю.$y \pm 0.5$

• інтервал довіри обчислювали формулами і (обидві формули взяті від Майєрса, Монтгомері, Андерсона-Кука, "Методика поверхні відповіді", четверте видання, сторінки 407 та 34)у(х0)-тα/2,де(етрпрог)

  $$UPV=\frac{Var[\hat{y}(x_0)]}{\hat{\sigma}^2}=x_0'(X'X)^{-1}x_0$$ leцу| х0≤у(х0)+Tα/2,де(етрпрог) $$\hat{y}(x_0) - t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0}$$ $$\leq \mu_{y|x_0} \leq \hat{y}(x_0) + t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0} .$$

$t_{\alpha /2, df(error)}=2$ і .$\hat{\sigma}^2=MSE=SSE/(n-p)\sim0.075$

Мене не особливо цікавлять абсолютні значення інтервалу довіри, а скоріше форма UPV, яка залежить лише від .$x_0'(X'X)^{-1}x_0$

Фігура 1:

• дуже висока прогнозована дисперсія поза проектним простором є нормальною, оскільки ми екстраполюємо

• але чому дисперсія менша між X = 1,5 і X = 2, ніж у виміряних точках?

• і чому дисперсія стає ширшою для значень понад X = 2, але потім зменшується після X = 2,3, щоб знову стати меншою, ніж у виміряній точці при X = 3?

Чи не було б логічним, щоб дисперсія була невеликою в виміряних точках і великою між ними?

Редагувати: та сама процедура, але з точками даних [(1.5; 1), (2.25; 2.5), (3; 2.5)] та [(1.5; 1), (2; 2.5), (2.5; 2.2), (3; 2.5)].

Малюнок 2:

Малюнок 3:

Цікаво зауважити, що на малюнках 1 і 2 UPV у точках рівно дорівнює 1. Це означає, що довірчий інтервал буде точно рівний . Зі збільшенням кількості балів (рисунок 3) ми можемо отримати UPV-значення на виміряних точках, менших за 1.$\hat{y} \pm t_{\alpha /2, df(error)}\cdot \sqrt{MSE}$

$(x,y)$$(x,x^2,y)$

Ми платимо ціну за необхідність перегляду тривимірних об'єктів, що важко зробити на статичному екрані. (Я вважаю нескінченно обертові образи дратівливими, і тому не завдаватимуть жодному з вас, хоча вони можуть бути корисними.) Таким чином, ця відповідь може не подобатися всім. Але охочі додати третій вимір своєю уявою будуть винагороджені. Я пропоную допомогти вам у цьому починанні за допомогою ретельно підібраної графіки.

Почнемо з візуалізації незалежних змінних. У квадратичній регресійній моделі

$(x_i)$$(x_i^2)$$(x_i,x_i^2)$$x$$x^2.$$(t,t^2):$

$(x,x^2)$

Квадратична регресія відповідає площині до цих точок.

$(\beta_0,\beta_1,\beta_2),$$(x,x^2,y)$$(1)$$-\beta_1(x)-\beta_2(x^2)+(1)y-\beta_0,$$(-\beta_1,-\beta_2,1).$$\beta_1=-55/8$$\beta_2=15/2,$$1,$$(x,x^2)$ площині.)

Ось площина найменших квадратів, встановлена ​​до цих точок:

$y=f(x,x^2),$$(t,t^2)$

$x$$y$$x^2$

$(x,\hat y)$$\hat y$$x.$

Діапазон довіри для цієї пристосованої кривої зображує те, що може статися з пристосуванням, коли точки даних випадково змінюються. Не змінюючи точки зору, я побудував п'ять встановлених площин (та їх підняті криві) до п'яти незалежних нових наборів даних (з яких показано лише одну):

$x \approx 1.75$$x \approx 3.$

Давайте подивимось на те саме, що нависає над тривимірним сюжетом і трохи дивиться вниз і вздовж осі діагоналі площини. Щоб допомогти вам побачити, як змінюються площини, я також стиснув вертикальний вимір.

$(t,t^2)$$(x,x^2).$

$(x_i,x_i^2)$$\mathcal L$$(x,x^2)$$(x,x^2)$$(x,x^2)$$\mathcal L.$

$\mathcal L$$t\to(t,t^2)$$\mathcal L$$x$$1.7$$2.9$

$(x,y)$

Цей аналіз концептуально застосовується до поліноміальної регресії вищого ступеня, а також до множинної регресії взагалі. Хоча ми не можемо по-справжньому "побачити" більше трьох вимірів, математика лінійної регресії гарантує, що інтуїція, отримана з дво- та тривимірних графіків типу, показаних тут, залишається точною у вищих розмірах.

Інтуїтивно зрозумілий

У дуже інтуїтивному та грубому сенсі ви можете бачити поліноміальну криву, як дві лінійні криві зшиті між собою (одна зростаюча, а одна зменшується). Для цих лінійних кривих ви можете запам'ятати вузьку форму в центрі .

Точки зліва від вершини відносно мало впливають на прогнози праворуч від піку, і навпаки.

• Таким чином, ви можете очікувати двох вузьких областей по обидва боки вершини (де зміни схилів обох сторін мають відносно невеликий ефект).

• Область навколо піку є відносно більш невизначеною, оскільки зміна нахилу кривої має більший ефект у цій області. Можна намалювати безліч кривих з великим зсувом піку, який все ще розумно проходить через точки вимірювання

Ілюстрація

Нижче наведено ілюстрацію з деякими різними даними, яка легше показує, як може виникати ця закономірність (можна сказати, подвійний вузол):

set.seed(1)
x <- c(rep(c(-6, -5, 6, 5), 5))
y <- 0.2*x^2 + rnorm(20, 0, 1)
plot(x, y, 
     ylim=c(-10,30), xlim=c(-10,10),
     pch=21, col=1, bg=1, cex=0.3)

data    = list(y=y,           x=x,                x2=x^2)
newdata = list(y=rep(0,3001), x=seq(-15,15,0.01), x2=seq(-15,15,0.01)^2  )

model <- lm(y~1+x+x2, data=data)
predictions = predict(model, newdata = newdata, interval="predict")
lines(newdata$x, predictions[,1])
lines(newdata$x, predictions[,2], lty=2)
lines(newdata$x, predictions[,3], lty=2)

Формальний

<sup>$x$

$x$</sup>