Як розподіл терміна помилки впливає на розподіл відповіді?

Отже, коли я припускаю, що умови помилки зазвичай розподіляються в лінійній регресії, що це означає для змінної відповіді,$y$ ?

Можливо, я пішов, але я думаю, що нам слід було б задатися питанням про , саме так я читаю ОП. У самому простому випадку лінійної регресії, якщо ваша модель y = X β + ϵ, то єдиною стохастичною складовою у вашій моделі є термін помилки. Як такий він визначає розподіл вибірки y . Якщо ϵ ∼ N ( 0 , σ 2 I ), то y | X , β ∼ N ( X β $f(y|\beta, X)$$y=X\beta + \epsilon$$y$$\epsilon\sim N(0, \sigma^2I)$ . Однак, що говорить @Aniko, безумовно, стосується f ( y ) (незначно над X , β ). Отже, питання стоїть трохи розпливчасто.$y|X, \beta\sim N(X\beta, \sigma^2I)$$f(y)$$X, \beta$

Коротка відповідь полягає в тому, що ви нічого не можете зробити висновок про розподіл , оскільки це залежить від розподілу x і сили та форми відносини. Більш формально, у вас буде розподіл "суміші нормалів", який на практиці може бути майже будь-яким.$y$$x$$y$

Ось два крайніх приклади, щоб проілюструвати це:

1. Припустимо, є лише два можливі значення , 0 an 1 і y = 10 x + N ( 0 , 1 ) . Тоді y матиме сильно бімодальний розподіл із шишками при 0 та 10.$x$$y = 10x + N(0,1)$$y$
2. Тепер припустимо те саме співвідношення, але нехай рівномірно розподілений на інтервалі 0-1 з великою кількістю значень. Тоді y буде майже рівномірно розподілений через інтервал 0-10 (з деякими напів нормальними хвостами на краях).$x$$y$

Насправді, оскільки кожен розподіл можна наблизити довільно добре із сумішшю нормалей, ви дійсно можете отримати будь-який розподіл для .$y$

Ми вигадуємо термін помилки, накладаючи вигадану модель на реальні дані; розподіл терміна помилки не впливає на розподіл відповіді.

Ми часто припускаємо, що помилка поширюється нормально, і, таким чином, намагаємося побудувати модель таким чином, щоб наші розрахункові залишки зазвичай розподілялися. Це може бути складно для деяких розподілів . У цих випадках, я думаю, можна сказати, що розподіл відповіді впливає на термін помилки.$y$

Якщо ви випишете відповідь як Де m - "модель" (передбачення для y ), а e - "помилки", то це можна перевпорядкувати для позначення y - m = e . Отже, призначити розподіл для помилок - це те саме, що вказати на те, як ваша модель є неповною. Іншим способом - це те, що воно вказує, наскільки ви не знаєте, чому спостережувана реакція була тим значенням, яке вона є насправді, а не тим, що передбачала модель. Якщо ви знали, що ваша модель ідеальна, ви призначили розподіл ймовірності з усією її масою на нуль для помилок. Призначення N

$$\bf{y}=m+e$$ $\bf{m}$$\bf{y}$$\bf{e}$$\bf{y}-m=e$ основному говорить про те, що помилки в одиницях σ невеликі. Ідея полягає в тому, що передбачення моделі, як правило, «неправильні» за аналогічних сум для різних спостережень, і є «приблизно правильно» за шкалою σ . На противагу цьому, альтернативне призначення - це C a u c h y ( 0 , γ ), що говорить про те, що більшість помилок невеликі, але деякі помилки досить великі - модель має випадкові "помилки" або "шокер" в плані прогнозування відповіді.$N(0,\sigma^{2})$$\sigma$$\sigma$$Cauchy(0,\gamma)$

У певному сенсі розподіл помилок більш тісно пов'язаний з моделлю, ніж з відповіддю. Це видно з неідентифікованості вищевказаного рівняння, оскільки якщо і і e невідомі, тоді додавання довільного вектора до m і віднімання його від e призводить до однакового значення y , y = m + e = ( m + b ) + ( e - b ) = m ′ + e $\bf{m}$$\bf{e}$$\bf{m}$$\bf{e}$$\bf{y}$$\bf{y}=m+e=(m+b)+(e-b)=m'+e'$. Присвоєння розподілу помилок та рівняння моделі в основному говорить про те, які довільні вектори є більш правдоподібними, ніж інші.