Інтервал прогнозування лінійної регресії

Якщо найкращим лінійним наближенням (з використанням найменших квадратів) моїх точок даних є лінія $y=mx+b$ , то як я можу обчислити похибку наближення? Якщо я обчислюю стандартне відхилення відмінностей між спостереженнями та прогнозами , чи можу я пізніше сказати, що до інтервалу належить реальне (але не спостережуване) значення ( ) з вірогідністю ~ 68%, припускаючи нормальний розподіл?y r = r e a l ( x 0 ) [ y p - σ , y p + σ ] y p = m x 0 + $e_i=real(x_i)-(mx_i+b)$$y_r=real(x_0)$$[y_p-\sigma, y_p+\sigma]$$y_p=mx_0+b$

Для уточнення:

Я зробив спостереження стосовно функції , оцінивши її в деяких точках . Я поміщаю ці спостереження до прямої . Для якого я не спостерігав, я хотів би знати, наскільки великим може бути . Використовуючи вищенаведений метод, чи правильно сказати, що з задачею. ~ 68%?$f(x)$$x_i$$l(x)=mx+b$$x_0$$f(x_0)-l(x_0)$$f(x_0) \in [l(x_0)-\sigma, l(x_0)+\sigma]$

@whuber вказав на три хороших відповіді, але, можливо, я все-таки можу написати щось цінне. Як я розумію, ваше чітке запитання:

З огляду на мою підібрана $\hat y_i=\hat mx_i + \hat b$ (повідомлення я додав «капелюхи») , і припускаючи , що мої залишки нормально розподілений, , можна передбачити , що ще непомітний відповідь, у п е ш , з відомим значенням провісника, х п х ш , буде падати в межах інтервалу ( у - σ е , у + $\mathcal N(0, \hat\sigma^2_e)$$y_{new}$$x_{new}$ з вірогідністю 68%?$(\hat y -\sigma_e, \hat y +\sigma_e)$

Інтуїтивно відповідь здається, що він повинен бути «так», але правдива відповідь - можливо . Це буде той випадок, коли параметри (тобто & σ ) відомі і без помилок. Оскільки ви оцінили ці параметри, нам потрібно врахувати їх невизначеність. $m, b,$$\sigma$

Давайте спочатку подумаємо про стандартне відхилення ваших залишків. Оскільки це оцінюється за вашими даними, може бути помилка в оцінці. Як результат, розподіл, який слід використовувати для формування інтервалу передбачення, повинен бути , а не звичайною. Однак, оскільки t швидко переходить до нормального, на практиці це є меншою ймовірністю. $t_\text{df error}$$t$

Таким чином, ми можемо використовувати тільки у нового ± т ( 1 - α / 2 , ДФ помилки ) s , замість у нового ± г ( 1 - α / 2 ) S , і йти про наш веселому шляху? На жаль, немає. Велика проблема в тому , що існує невизначеність в відношенні вашої оцінки умовного середнього відгуку в цьому місці з - за невизначеності в ваші оцінки т і б . Таким чином,$\hat y_\text{new}\pm t_{(1-\alpha/2,\ \text{df error})}s$$\hat y_\text{new}\pm z_{(1-\alpha/2)}s$$\hat m$$\hat b$стандартне відхилення ваших прогнозів повинно включати більше помилок $s_\text{error}$ . З - за відхилення додати , оцінена дисперсія передбачень буде: Зверніть увагу , що « х » є індексуються для подання значення , специфічного для нового спостереження, і що " s 2 " відповідно підписане. Тобто, ваш інтервал передбачення залежить від місця розташування нового спостереження вздовж

$$s^2_\text{predictions(new)}=s^2_\text{error}+\text{Var}(\hat mx_\text{new}+\hat b)$$ $x$$s^2$$x$ $$s_\text{predictions(new)}=\sqrt{s^2_\text{error}\left(1+\frac{1}{N}+\frac{(x_\text{new}-\bar x)^2}{\sum(x_i-\bar x)^2}\right)}$$ As an interesting side note, we can infer a few facts about prediction intervals from this equation. First, prediction intervals will be narrower the more data we had when we built the prediction model (this is because there's less uncertainty in $\hat m$ & $\hat b$). Second, predictions will be most precise if they are made at the mean of the $x$ values you used to develop your model, as the numerator for the third term will be $0$. The reason is that under normal circumstances, there is no uncertainty about the estimated slope at the mean of $x$, only some uncertainty about the true vertical position of the regression line. Thus, some lessons to be learned for building prediction models are: that more data is helpful, not with finding 'significance', but with improving the precision of future predictions; and that you should center your data collection efforts on the interval where you will need to be making predictions in the future (to minimize that numerator), but spread the observations as widely from that center as you can (to maximize that denominator).

Having calculated the correct value in this manner, we can then use it with the appropriate $t$ distribution as noted above.