Як концептуалізувати помилку в регресійній моделі?

Я відвідую клас аналізу даних, і деякі мої добре вкорінені ідеї хитаються. А саме думка про те, що помилка (epsilon), як і будь-яка інша різновид дисперсії, стосується лише (так я думав) для групи (вибірки або цілої сукупності). Тепер нас вчать, що одне з припущень регресії - це те, що дисперсія "однакова для всіх людей". Це мене якось шокує. Я завжди думав, що різниця в Y за всіма значеннями X вважалася постійною.

Я спілкувався з професором, який сказав мені, що коли ми регресуємо, ми вважаємо, що наша модель є правдивою. І я думаю, що це складна частина. Для мене термін помилки (epsilon) завжди означав щось на кшталт "будь-яких елементів, які ми не знаємо, і це може вплинути на нашу змінну результату, плюс деяку помилку вимірювання". У тому, як викладають клас, немає такого поняття, як "інші речі"; наша модель вважається справжньою та повною. Це означає, що всі залишкові зміни повинні розглядатися як добуток помилки вимірювання (таким чином, очікується, що вимірювання особини в 20 разів призведе до такої ж дисперсії, як одноразове вимірювання 20 особин).

Я відчуваю, що десь щось не так, я хотів би мати якусь експертну думку з цього приводу ... Чи є місце для тлумачення того, що таке термін помилки, концептуально кажучи?

Якщо є аспекти людей, які впливають на отримані значення y, то або є певний спосіб отримати ці аспекти (у такому випадку вони повинні бути частиною предиктора x), або немає жодного способу досягти цього інформація.

Якщо ніколи не можна отримати цю інформацію і немає можливості багаторазового вимірювання значень y для окремих людей, то це насправді не має значення. Якщо ви можете виміряти y багаторазово, і якщо ваш набір даних насправді містить неодноразові вимірювання для деяких людей, то у вас є потенційна проблема, оскільки статистична теорія передбачає незалежність помилок вимірювань / залишків.

Наприклад, припустимо, що ви намагаєтесь прилаштувати модель форми

,$y=\beta_0+\beta_1 x$

і що для кожної людини,

,$yind=100+10x+z$

де z залежить від індивіда і зазвичай розподіляється із середнім значенням 0 та стандартним відхиленням 10. Для кожного повторного вимірювання індивіда,

, $ymeas=100+10x+z+e$

де звичайно розподілений із середнім значенням 0 та стандартним відхиленням 0,1. $e$

Ви можете спробувати моделювати це як

,$y=\beta_0+\beta_1 x+\epsilon$

де зазвичай розподілений із середнім значенням 0 та стандартним відхиленням$\epsilon$

. $\sigma=\sqrt{10^2+0.1^2}=\sqrt{100.01}$

Поки у вас є лише одне вимірювання для кожної людини, це було б добре. Однак якщо у вас є кілька вимірювань для однієї особи, то ваші залишки вже не будуть незалежними!

$\beta_0=100$$\beta_1=10$$\chi^2$

Я думаю, що "помилка" найкраще характеризується як "частина спостережень, яка непередбачувана, враховуючи нашу поточну інформацію". Намагання мислити за кількістю населення та вибірки призводить до концептуальних проблем (ну це все одно для мене), як і мислення про помилки як "чисто випадкових", витягнутих з деякого розподілу. мислення з точки зору передбачення та "передбачуваності" має для мене набагато більше сенсу.

$p(e_{1},\dots,e_{n})$$E(\frac{1}{n}\sum_{i=1}^{n}e_{i}^2)=\sigma^2$$\sigma^2$$\sigma$

$n$

Ось дуже корисне посилання для пояснення простої лінійної регресії: http://www.dangoldstein.com/dsn/archives/2006/03/every_wonder_ho.html можливо, це може допомогти зрозуміти поняття "помилки".

FD

Я не згоден з формулюванням цього професора. Як ви кажете, думка про те, що дисперсія однакова для кожного окремої людини, означає, що термін помилки представляє лише помилку вимірювання. Як правило, не будується основна модель множинної регресії. Також, як ви говорите, для групи визначається дисперсія (будь то група окремих предметів чи група вимірювань). Це не застосовується на індивідуальному рівні, якщо ви не повторили заходи.

Модель повинна бути повною, оскільки термін помилки не повинен містити впливу будь-яких змінних, які співвідносяться з предикторами. Припущення полягає в тому, що термін помилки не залежить від предикторів. Якщо якась корельована змінна опущена, ви отримаєте зміщені коефіцієнти (це називається опущеним зміщенням змінної ).