Отримання формули меж прогнозування у лінійній моделі (тобто: інтервали прогнозування)

Візьмемо такий приклад:

set.seed(342)
x1 <- runif(100)
x2 <- runif(100)
y <- x1+x2 + 2*x1*x2 + rnorm(100)
fit <- lm(y~x1*x2)

Це створює модель y на основі x1 та x2, використовуючи регресію OLS. Якщо ми хочемо передбачити y для даного x_vec, ми можемо просто використати формулу, отриману з summary(fit).

Однак що робити, якщо ми хочемо передбачити нижній і верхній прогнози у? (для заданого рівня довіри).

Як тоді ми побудуємо формулу?

r regression predictive-models prediction-interval

— Тал Галілі
джерело

Розділ довіри щодо нових спостережень на цій сторінці може допомогти.

— ГаБоргуля

@Tal Вибачте, але мені не зовсім зрозуміло, що ви насправді маєте на увазі під «прогнозуйте нижній і верхній прогнози y». Чи має це щось спільне з смугами прогнозування чи толерантності?

— chl

@Tal - пара запитів. Коли ви говорите ".. y на основі x1 та x2, використовуючи регресію OLS". , ви маєте на увазі створити лінійну модель та оцінити параметри за допомогою OLS . Я правий? і питання @ chl - чи хочете ви передбачити нижню та верхню межі для інтервалу прогнозування?

— suncoolsu

@chl, вибачте, що не ясніше. Я шукаю дві формули, які дадуть інтервал, який дозволить "зловити" "реальне" значення y 95% часу. Я відчуваю, як я середньо використовую визначення для ІС, коли, мабуть, є якийсь інший термін, який я повинен би використовувати, вибачте про це ...

— Тал Галілі

@suncoolsu - так і так.

— Тал Галілі

Відповіді:

Вам знадобиться матрична арифметика. Я не впевнений, як Excel піде з цим. У всякому разі, ось деталі.

Припустимо, ваша регресія записується як . $\mathbf{y} = \mathbf{X}\mathbf{\beta} + \mathbf{e}$

Нехай - рядковий вектор, що містить значення предикторів прогнозів (у тому ж форматі, що і ). Тоді прогноз дається з асоційованим дисперсією $\mathbf{X}^*$ $\mathbf{X}$

\hat{y} = X^{*} \hat{β} = X^{*} (X^{'} X)^{- 1} X^{'} Y

$\hat{y} = \mathbf{X}^*\hat{\mathbf{\beta}} = \mathbf{X}^*(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$

σ^{2} [1 + Х^{*} (Х^{'} Х)^{- 1} (Х^{*})^{'}] .

$\sigma^2 \left[1 + \mathbf{X}^* (\mathbf{X}'\mathbf{X})^{-1} (\mathbf{X}^*)'\right].$ Тоді інтервал прогнозування 95% може бути обчислена (за умови нормально розподілених помилок) , як

При цьому враховується невизначеність через термін помилки

та невизначеність в оцінках коефіцієнта. Однак він ігнорує будь-які помилки в

. Отже, якщо майбутні значення предикторів невизначені, то інтервал прогнозування, обчислений за допомогою цього виразу, буде занадто вузьким.

\hat{у} \pm 1,96 \hat{σ} \sqrt{1 + Х^{*} (Х^{'} Х)^{- 1} (Х^{*})^{'}} .

$\hat{y} \pm 1.96 \hat{\sigma} \sqrt{1 + \mathbf{X}^* (\mathbf{X}'\mathbf{X})^{-1} (\mathbf{X}^*)'}.$

e

$e$

X^{*}

$\mathbf{X}^*$

— Роб Хайндман
джерело

+1, відмінна відповідь. Хоча зауважити, що модель регресії завжди оцінює умовні очікування, тому вона така ж хороша, як і її регресори. Тож останній коментар, хоча є дуже хорошим, не є строго необхідним, оскільки якщо ви будуєте регресійну модель, ви повинні довіряти регресорам.

— mpiktas

\hat{y} = X^{*} β + X^{*} (X^{'} X)^{- 1} X^{'} e

$\hat{y}=X^*\beta+X^*(X'X)^{-1}X'e$

v a r \hat{y} = v a r X^{*} (X^{'} X)^{- 1} X^{'} e = σ^{2} X^{*} (X^{'} X)^{- 1} (X^{*})^{'}

$var \hat{y}=var X^*(X'X)^{-1}X'e=\sigma^2X^*(X'X)^{-1}(X^*)'$

\hat{y}

$\hat{y}$

N \times N

$N \times N$

X^{*}

$X^*$

Ви випадково після різних типів інтервалів прогнозування? Сторінка predict.lmкерівництва має

 ## S3 method for class 'lm'
 predict(object, newdata, se.fit = FALSE, scale = NULL, df = Inf, 
         interval = c("none", "confidence", "prediction"),
         level = 0.95, type = c("response", "terms"),
         terms = NULL, na.action = na.pass,
         pred.var = res.var/weights, weights = 1, ...)

Встановлення «інтервалів» визначає обчислення інтервалів довіри або прогнозування (допуску) на визначеному «рівні», іноді їх називають вузькими та широкими інтервалами.

Це те, що ти мав на увазі?

— Дірк Еддельбуеттель
джерело

Привіт Дірк, це дійсно те, що я хотів би знайти, але я хочу, щоб верхня і нижня зв'язки були у формі формули (щоб пізніше реалізувати у якійсь низькій формі статистичного програмного забезпечення, наприклад, excel ...)

— Тал Галілі

ps: Тепер я бачу, що в редакції заголовка мого питання відбулося редагування, яке, можливо, привело вас до думки, що я питаю про параметр інтервалу predict.lm (якого я не є) :)

— Tal Galili

Ви тут зловживаєте термінологією. Excel не є статистичним програмним забезпеченням.

— Дірк Еддельбюттель

Ви маєте рацію, моя пропозиція, як щодо "додатка для електронних таблиць"?

— Тал Галілі

Я можу з цим жити; він називає диявола своїм ім'ям ;-)

— Дірк Еддельбуеттель

@Tal: Можливо, я пропоную Kutner et al як казкове джерело для лінійних моделей.

$E(Y|X_{vec})$

$E(Y|X_{vec})$ $\hat{Y}$ $\pm$ $\alpha$ $\hat{Y}$ $\hat{Y}$ $\hat{Y}$ $\frac{\sigma^{2}}{n}$ $X_{vec}-\bar{X})^{2}\frac{\sigma^{2}}{\sum(X_{i}-\bar{X})^{2}}$

— B_Miner
джерело

(+1) для розрізнення. Однак я вважаю, що ОП просить (1), а не (2) (і я відповідно відредагував назву питання). Також врахуйте, що, здається, ваша формула передбачає, що регресія залежить лише від однієї змінної.

— whuber