Що означає "незалежне спостереження"?

Я намагаюся зрозуміти, що означає припущення незалежних спостережень . Деякі визначення:

1. "Дві події є незалежними тоді і лише тоді, коли ." ( Словник статистичних термінів )$P(a \cap b) = P(a) * P(b)$
2. "виникнення однієї події не змінює ймовірності іншої" ( Вікіпедія ).
3. "вибірка одного спостереження не впливає на вибір другого спостереження" ( Девід М. Лейн ).

Прикладом залежних спостережень, які часто даються, є студенти, що вкладаються вчителі, як показано нижче. Припустимо, що вчителі впливають на учнів, але студенти не впливають один на одного.

То як порушуються ці визначення для цих даних? Вибірка [бала = 7] для [студент = 1] не впливає на розподіл ймовірності для оцінки, яка буде відібрана далі. (Або так? І якщо так, то що передбачає спостереження 1 щодо наступного спостереження?)

Чому спостереження були б незалежними, якби я заміряв gender замість цього teacher_id? Чи не впливають вони на спостереження однаково?

teacher_id   student_id   grade
         1            1       7
         1            2       7
         1            3       6
         2            4       8
         2            5       8
         2            6       9

У теорії ймовірностей статистична незалежність (яка не є тотожною причинною незалежністю) визначається як ваша властивість (3), але (1) випливає як наслідок . Кажуть, що події і є статистично незалежними, якщо і лише якщо:А $\dagger$$\mathcal{A}$$\mathcal{B}$

$$\mathbb{P}(\mathcal{A} \cap \mathcal{B}) = \mathbb{P}(\mathcal{A}) \cdot \mathbb{P}(\mathcal{B}) .$$

Якщо якщо випливає, що:$\mathbb{P}(\mathcal{B}) > 0$

$$\mathbb{P}(\mathcal{A} |\mathcal{B}) = \frac{\mathbb{P}(\mathcal{A} \cap \mathcal{B})}{\mathbb{P}(\mathcal{B})} = \frac{\mathbb{P}(\mathcal{A}) \cdot \mathbb{P}(\mathcal{B})}{\mathbb{P}(\mathcal{B})} = \mathbb{P}(\mathcal{A}) .$$

Це означає, що статистична незалежність передбачає, що настання однієї події не впливає на ймовірність іншої. Ще один спосіб сказати це - те, що виникнення однієї події не повинно змінювати ваші переконання щодо іншої. Поняття статистичної незалежності, як правило, поширюється від подій до випадкових змінних таким чином, що дозволяє робити аналогічні твердження для випадкових змінних, включаючи безперервні випадкові змінні (які мають нульову ймовірність будь-якого конкретного результату). Трактування незалежності для випадкових величин, в основному, включає ті самі визначення, що застосовуються до функцій розподілу.

---

Важливо розуміти, що незалежність є дуже сильною властивістю - якщо події є статистично незалежними, то (за визначенням) ми не можемо дізнатися про одне від спостереження за іншим. З цієї причини статистичні моделі зазвичай передбачають припущення про умовну незалежність, враховуючи деякі основні розподіли або параметри. Точна концептуальна рамка залежить від того, чи використовуєш баєсовські методи або класичні методи. Перший передбачає явну залежність між спостережуваними значеннями, тоді як другий передбачає (складну і тонку) неявну форму залежності. Правильне розуміння цього питання вимагає трохи розуміння класичної та баєсівської статистики.

Статистичні моделі часто кажуть, що вони використовують припущення, що послідовності випадкових змінних "незалежні та однаково розподілені (IID)". Наприклад, у вас може бути послідовність, що спостерігається , що означає, що кожна видима випадкова величина зазвичай розподіляється із середнім і стандартне відхилення$X_1, X_2, X_3, ... \sim \text{IID N} (\mu, \sigma^2)$$X_i$$\mu$$\sigma$. Кожна з випадкових змінних у послідовності є "незалежною" від інших у тому сенсі, що її результат не змінює заявленого розподілу інших значень. У такій моделі ми використовуємо спостережувані значення послідовності для оцінки параметрів у моделі, а потім можемо в свою чергу передбачити незабезпечені значення послідовності. Це обов'язково включає використання одних спостережуваних значень, щоб дізнатися про інші.

Байєсівська статистика: все концептуально просто. Припустимо, що умовно є IID, заданими параметрами та , і розглядають ці невідомі параметри як випадкові величини. З огляду на будь-який попередній розподіл для цих параметрів, що не вироджується, значення в послідовності, що спостерігається, залежать (безумовно), як правило, з позитивною кореляцією. Отже, має ідеальний сенс, що ми використовуємо спостережувані результати, щоб прогнозувати пізніші незабезпечені результати - вони умовно незалежні, але безумовно залежні.$X_1, X_2, X_3, ...$$\mu$$\sigma$

Класична статистика: Це досить складно і тонко. Припустимо, що - IID із заданими параметрами та , але трактуйте ці параметри як "невідомі константи". Оскільки параметри трактуються як константи, то в цьому випадку чіткої різниці між умовною та безумовною незалежністю немає. Тим не менш, ми все ще використовуємо спостережувані значення для оцінки параметрів та прогнозування незазначених значень. Отже, ми використовуємо спостережувані результати для прогнозування пізніших незабезпечених результатів, навіть якщо вони умовно є "незалежними" один від одного. Ця очевидна невідповідність детально обговорюється в O'Neill, B. (2009). Обмінність, кореляція та ефект Байєса. $X_1, X_2, X_3, ...$$\mu$$\sigma$Міжнародний статистичний огляд 77 (2) , с. 241 - 250 .

---

Застосувавши це до даних своїх оцінок студентів, ви, ймовірно, змоделюєте щось подібне, вважаючи, що gradeце дається умовно незалежнимteacher_id . Ви б використали ці дані, щоб зробити висновки про розподіл оцінок для кожного викладача (який не вважався б однаковим), і це дозволить зробити прогнози щодо невідомості gradeіншого учня. Оскільки gradeзмінна використовується у висновку, це вплине на ваші прогнози будь-якої невідомої gradeзмінної для іншого учня. Заміна teacher_idна genderце не змінює цього; в будь-якому випадку у вас є змінна, яку ви можете використовувати як предиктор grade.

Якщо ви використовуєте метод Баєса, ви матимете чітке припущення про умовну незалежність та попереднє розподіл для розподілу оцінок вчителів, і це призводить до безумовної (прогнозної) залежності оцінок, що дозволяє раціонально використовувати один клас при прогнозуванні іншого. Якщо ви використовуєте класичну статистику, у вас буде припущення про незалежність (на основі параметрів, які є "невідомими константами"), і ви будете використовувати класичні методи статистичного прогнозування, які дозволяють використовувати один клас для прогнозування іншого.

---

$\dagger$ Існують деякі фундаментальні презентації теорії ймовірностей, які визначають незалежність за допомогою умовного твердження ймовірності, а потім дають спільний випадок ймовірності як наслідок. Це рідше.

Нехай з допомогою мірного випадкового вектора, тобто сукупність фіксованого положення випадкових величин (вимірних дійсних функцій).до $\mathbb x=(X_1,...,X_j,...,X_k)$$k-$

Розглянемо багато таких векторів, скажімо, та індексуємо ці вектори на , так, скажімо$n$$i=1,...,n$

$$\mathbb x_i=(X_{1i},...,X_{ji},...,X_{ki})$$ і розглядаємо їх як колекцію під назвою "зразок", . Тоді ми називаємо кожен мірний вектор «спостереженням» (хоча він дійсно стає таким лише коли ми вимірюємо і записуємо реалізацію випадкових змінних).$S=(\mathbb x_1,...,\mathbb x_i,...,\mathbb x_n)$$k-$

Спершу розглянемо випадок, коли існує або функція маси ймовірностей (PMF), або функція щільності ймовірності (PDF), а також об'єднаємо такі функції. Позначимо через спільний PMF або спільний PDF кожного випадкового вектора, і спільний PMF або спільний PDF всіх цих векторів разом. $f_i(\mathbb x_i),\;i=1,...,n$$f(\mathbb x_1,...,\mathbb x_i,...,\mathbb x_n)$

Тоді вибірку називають "незалежною вибіркою", якщо виконується наступна математична рівність:$S$

$$f(\mathbb x_1,...,\mathbb x_i,...,\mathbb x_n) = \prod_{i=1}^{n}f_i(\mathbb x_i),\;\;\; \forall (\mathbb x_1,...,\mathbb x_i,...,\mathbb x_n) \in D_S$$

де - спільний домен, створений випадковими векторами / спостереженнями.$D_S$$n$

Це означає, що "спостереження" є "спільно незалежними", (в статистичному сенсі, або "незалежними за вірогідністю", як це було колишньою приказкою, яку досі іноді можна побачити). Звичка просто називати їх "незалежними спостереженнями".

Зауважимо, що властивість статистичної незалежності тут знаходиться над показником , тобто між спостереженнями. Це не пов'язано з тим, які імовірнісні / статистичні співвідношення між випадковими змінними у кожному спостереженні (у загальному випадку ми розглядаємо тут, де кожне спостереження є багатовимірним).$i$

Зауважимо також, що у випадках, коли у нас є безперервні випадкові величини без щільності, вищесказане може бути виражене через функції розподілу.

Ось що означає "незалежні спостереження" . Це точно визначена властивість, виражена в математичному виразі. Давайте подивимося, з чого це випливає .

ДЕЯКІ НАСЛІДКИ ВІДБУДЖЕННЯ НЕЗАЛЕЖНИХ ЗАБЕЗПЕЧЕНЬ

A. Якщо два спостереження є частиною групи спільно незалежних спостережень, вони також є "парними незалежними" (статистично),

$$f(\mathbb x_i,\mathbb x_m) = f_i(\mathbb x_i)f_m(\mathbb x_m)\;\;\; \forall i\neq m, \;\;\; i,m =1,...,n$$

Це, в свою чергу, означає, що умовні файли PMF / PDF дорівнюють "граничним"

$$f(\mathbb x_i \mid \mathbb x_m) = f_i(\mathbb x_i)\;\;\; \forall i\neq m, \;\;\; i,m =1,...,n$$

Це, наприклад, узагальнює багато аргументів, обумовлених чи обумовлюючих

$$f(\mathbb x_i , \mathbb x_{\ell}\mid \mathbb x_m) = f(\mathbb x_i , \mathbb x_{\ell}),\;\;\;\; f(\mathbb x_i \mid \mathbb x_m, \mathbb x_{\ell}) = f_i(\mathbb x_i)$$

тощо, якщо індекси зліва відрізняються від індексів праворуч від вертикальної лінії.

Це означає, що якщо ми реально спостерігаємо одне спостереження, ймовірності, що характеризують будь-яке інше спостереження вибірки, не змінюються. Що стосується прогнозування , незалежний зразок не є нашим найкращим другом. Ми вважаємо за краще мати залежність, щоб кожне спостереження могло допомогти нам сказати щось більше про будь-яке інше спостереження.

B. З іншого боку, незалежна вибірка має максимальний інформаційний зміст. Кожне спостереження, будучи незалежним, несе інформацію, про яку повністю або частково не можна зробити висновок будь-якого іншого спостереження у вибірці. Таким чином, загальна сума є максимальною, порівняно з будь-якою порівнянною вибіркою, де існує деяка статистична залежність між деякими спостереженнями. Але від чого корисна ця інформація, якщо вона не може допомогти нам покращити наші прогнози?

Ну, це непряма інформація про ймовірності, що характеризують випадкові змінні у вибірці. Чим більше цих спостережень мають загальні характеристики (загальний розподіл ймовірностей у нашому випадку), тим більше ми можемо розкрити їх, якщо наш зразок не залежить.

Іншими словами, якщо зразок є незалежним і "однаково розподілений", означає

$$f_i(\mathbb x_i) = f_m(\mathbb x_m) = f(\mathbb x),\;\;\; i\neq m$$

це найкращий можливий зразок, щоб отримати інформацію не тільки про спільний спільний розподіл ймовірностей , але і про граничні розподіли випадкових змінних, що складаються з кожного спостереження, скажімо, . $f(\mathbb x)$$f_j(x_{ji})$

Отже, хоча , так нульова додаткова прогнозова сила щодо фактичної реалізації , з незалежним і однаково розподіленим зразком, ми в кращому випадку положення для розкриття функцій (або деяких його властивостей), тобто граничних розподілів.$f(\mathbb x_i \mid \mathbb x_m) = f_i(\mathbb x_i)$$\mathbb x_i$ $f_i$

Отже, що стосується оцінки (яка іноді використовується як загальний термін, але тут вона повинна відрізнятися від концепції прогнозування ), незалежний зразок є нашим "найкращим другом", якщо він поєднується з "ідентично розподіленим" "власність.

C. З цього випливає, що незалежна вибірка спостережень, де кожне характеризується абсолютно різним розподілом ймовірностей, без яких-небудь загальних характеристик, є настільки ж марним набором інформації, як і його можна отримати (звичайно, кожна інформація сама по собі є гідно, проблема полягає в тому, що разом їх не можна поєднувати, щоб запропонувати щось корисне). Уявіть зразок, що містить три спостереження: одне містить (кількісні характеристики) фрукти з Південної Америки, інше, що містить гори Європи, і третє, що містить одяг з Азії. Досить цікаві інформаційні фрагменти всіх трьох - але разом, як зразок, не можуть зробити нічого статистично корисного для нас.

По-іншому, необхідною і достатньою умовою, щоб незалежна вибірка була корисною, полягає в тому, що спостереження мають спільне деякі статистичні характеристики. Ось чому в статистиці слово "зразок" не є синонімом "збирання інформації" взагалі, а "збору інформації про суб'єкти, які мають деякі загальні характеристики".

ЗАСТОСУВАННЯ ДО ПРИКЛАДУ ДАНИХ ОП

Відповідаючи на запит користувача @gung, давайте розглянемо приклад ОП з урахуванням сказаного. Ми обгрунтовано припускаємо, що ми перебуваємо в школі з більш ніж двома вчителями та понад шести учнями. Отже, а) ми відбираємо вибірку як учень, так і вчителів; б) включаємо в наш набір даних оцінку, що відповідає кожній комбінації вчитель-учень.

А саме, оцінки не є "вибірками", вони є наслідком вибірки, яку ми робили для вчителів та учнів. Тому доцільно трактувати випадкову змінну (= оцінка) як "залежну змінну", тоді як учні ( ) та вчителі - "пояснювальні змінні" (не всі можливі пояснювальні змінні, лише деякі ). Наш зразок складається з шести спостережень, які ми чітко пишемо, як$G$$P$$T$$S = (\mathbb s_1, ..., \mathbb s_6)$

$$\begin{align} \mathbb s_1 =(T_1, P_1, G_1) \\ \mathbb s_2 =(T_1, P_2, G_2) \\ \mathbb s_3 =(T_1, P_3, G_3) \\ \mathbb s_3 =(T_2, P_4, G_4) \\ \mathbb s_4 =(T_2, P_5, G_5) \\ \mathbb s_5 =(T_2, P_6, G_6) \\ \end{align}$$

За висловленим припущенням "учні не впливають один на одного", ми можемо вважати змінні незалежно розподіленими. При невисловленому припущенні, що "всі інші фактори", які можуть впливати на Оцінку, не залежать один від одного, ми також можемо вважати змінні незалежними один від одного. Нарешті, за невисловленим припущенням, що вчителі не впливають один на одного, ми можемо вважати змінні статистично незалежними між собою.$P_i$T 1 , T $G_i$
$T_1, T_2$

Але незалежно від того, які причинно-конструктивні припущення ми зробимо стосовно відношення вчителів та учнів , залишається фактом, що спостереження містять однакову випадкову змінну ( ), тоді як спостереження також містить ту саму випадкову змінну ( ). T 1 s 4 , s 5 , s 6 T $\mathbb s_1, \mathbb s_2, \mathbb s_3$$T_1$$\mathbb s_4, \mathbb s_5, \mathbb s_6$$T_2$

Уважно зауважте різницю між "однаковою випадковою змінною" та "двома різними випадковими змінними, які мають однакові розподіли".

Тож навіть якщо припустити, що "вчителі НЕ впливають на учнів", то все-таки наш зразок, як визначено вище, не є самостійним зразком, тому що статистично залежать від , тоді як статистично залежать через . T 1 s 4 , s 5 , s 6 T $\mathbb s_1, \mathbb s_2, \mathbb s_3$$T_1$$\mathbb s_4, \mathbb s_5, \mathbb s_6$$T_2$

Припустимо, що ми виключаємо випадкову змінну "вчитель" з нашої вибірки. Чи є зразок (учень, клас) з шести спостережень, незалежним зразком? Тут припущення, які ми зробимо, стосуються того, який структурний зв’язок між вчителями, учнями та класами має значення.

По-перше, чи впливають викладачі безпосередньо на випадкову змінну "Оцінка", можливо, через "ставлення / стилі оцінювання"? Наприклад, може бути "жорстким грейдером", а - ні. У такому випадку "не бачачи" змінну "Вчитель" не робить вибірку незалежною, оскільки тепер залежать, завдяки загальному джерелу впливу, (і аналогічно для інших трьох ). T 2 G 1 , G 2 , G 3 T $T_1$$T_2$$G_1, G_2, G_3$$T_1$

Але скажіть, що вчителі в цьому відношенні однакові. Тоді за висловленим припущенням "вчителі впливають на учнів" ми знову зазначимо, що перші три спостереження залежать одне від одного, тому що вчителі впливають на учнів, які впливають на оцінки, і ми досягаємо того самого результату, хоча і опосередковано в цьому випадку (як і для інші три). Отже, знову ж таки вибірка не є незалежною.

СЛУЧАЙ ГЕНДЕРУ

Тепер давайте зробимо зразок (шестикласник) шестимісних спостережень "умовно незалежним щодо вчителя" (див. Інші відповіді), припустивши, що всі шість учнів насправді є одним і тим же вчителем. Але додатково включимо до вибірки випадкову змінну " = стать", яка традиційно приймає два значення ( ), а останнім часом почала приймати більше. Наш знову тривимірний шість-спостережувальний зразок зараз$Ge$$M,F$

$$\begin{align} \mathbb s_1 =(Ge_1, P_1, G_1) \\ \mathbb s_2 =(Ge_2, P_2, G_2) \\ \mathbb s_3 =(Ge_3, P_3, G_3) \\ \mathbb s_3 =(Ge_4, P_4, G_4) \\ \mathbb s_4 =(Ge_5, P_5, G_5) \\ \mathbb s_5 =(Ge_6, P_6, G_6) \\ \end{align}$$

Уважно зауважте, що те, що ми включили в опис вибірки щодо гендерної ознаки, - це не фактичне значення, яке воно бере для кожного учня, а випадкова змінна «Стать» . Погляньте на початок цієї дуже довгої відповіді: Зразок визначається не як сукупність чисел (або фіксованих числових чи взагалі не значень), а як сукупність випадкових змінних (тобто функцій).

Тепер, чи впливає стать одного учня (структурно чи статистично) на стать другого учня? Ми можемо справедливо стверджувати, що це не так. Отже, з цього погляду змінні не залежать. Чи впливає стать учня , якимось чином безпосередньо на іншого учня ( )? Хм, є бойові навчальні теорії, якщо я згадаю про це. Отже, якщо припустити, що це не так , то відключається це ще одне можливе джерело залежності між спостереженнями. Нарешті, чи впливає стать учня безпосередньо на оцінки іншого учня? якщо ми стверджуємо, що це не так, ми отримуємо незалежну вибірку 1 Г е 1 P 2 , P 3 , . . $Ge_i$$1$$Ge_1$$P_2, P_3,...$ (за умови, що всі учні мають одного вчителя).

Визначення статистичної незалежності, які ви даєте на своїй посаді, по суті є правильними, але вони не досягають основи припущення про незалежність у статистичній моделі . Щоб зрозуміти, що ми маємо на увазі під припущенням незалежних спостережень у статистичній моделі, буде корисно переглянути, що таке статистична модель на концептуальному рівні.

Статистичні моделі як наближення до "кістки природи"

Давайте скористаємось знайомим прикладом: ми збираємо випадкову вибірку дорослих людей (з чітко визначеної сукупності - скажімо, всіх дорослих людей на землі) і вимірюємо їх висоту. Ми хотіли б оцінити середній показник популяції висоти дорослих людей. Для цього ми побудуємо просту статистичну модель, припускаючи, що висота людей виникає внаслідок нормального розподілу.

Наша модель буде хорошою, якщо нормальний розподіл забезпечує хороший наближення до того, як природа «підбирає» висоту для людей. Тобто, якщо ми моделюємо дані за нашою звичайною моделлю, чи отриманий набір даних дуже нагадує (у статистичному розумінні) те, що ми спостерігаємо в природі? Чи дає наш генератор випадкових чисел в контексті нашої моделі гарне моделювання складного стохастичного процесу, який природа використовує для визначення висоти випадково вибраних дорослих людей ("кості природи")?

Припущення про незалежність у простому контексті моделювання

Коли ми припускали, що можемо наблизити "кістки природи", витягуючи випадкові числа з нормального розподілу, ми не мали на увазі, що ми будемо малювати одне число із звичайного розподілу, а потім присвоювати цю висоту всім. Ми мали на увазі, що ми будемо самостійно малювати числа для всіх із одного і того ж нормального розподілу. Це наше припущення про незалежність.

Уявіть собі, що наша вибірка дорослих не була випадковою вибіркою, а натомість походила з кількох сімей. Високість у деяких сім’ях, а в інших - недуга. Ми вже говорили, що готові припустити, що висота всіх дорослих походить від одного нормального розподілу. Але вибірка з звичайного розподілу не забезпечить набір даних, схожий на наш зразок (наш зразок показує "згустки" очок, деякі короткі, інші високі - кожен згусток - це сім'я). Висоти людей у ​​нашому зразку не є незалежними малюнками від загального нормального розподілу.

Припущення про незалежність у більш складному контексті моделювання

Але не все втрачено! Можливо, ми зможемо записати кращу модель для нашого зразка - ту, яка зберігає незалежність висот. Наприклад, ми могли б записати лінійну модель, де висоти виникають при нормальному розподілі із середнім значенням, яке залежить від того, до якої родини належить суб'єкт. У цьому контексті нормальний розподіл описує залишкові зміни , ПІСЛЯ ми враховуємо вплив родини. І незалежні вибірки від звичайного розподілу можуть бути хорошою моделлю для цієї залишкової варіації.

Загалом, тут ми створили складнішу модель того, як ми очікуємо, що кістки природи поводяться в контексті нашого дослідження. Записуючи хорошу модель, ми все-таки можемо бути виправданими, вважаючи, що випадкова частина моделі (тобто випадкова різниця навколо сім'ї означає) незалежно відбирається для кожного члена популяції.

Припущення про (умовну) незалежність у загальному контексті моделювання

Взагалі статистичні моделі працюють, припускаючи, що дані виникають з деякого розподілу ймовірностей. Параметри цього розподілу (як середнє значення нормального розподілу у наведеному вище прикладі) можуть залежати від коваріатів (як сімейство у прикладі вище). Але звичайно можливі нескінченні варіації. Розподіл може бути не нормальним, параметр, який залежить від коваріатів, може бути не середнім, форма залежності може бути не лінійною і т.д. поведіть себе (знову ж таки, що дані, змодельовані за моделлю, будуть виглядати статистично подібними до фактичних даних, отриманих природою).

Коли ми моделюємо дані за моделлю, останнім кроком завжди буде скласти випадкове число відповідно до деякого модельованого розподілу ймовірностей. Це ті малюнки, які ми вважаємо незалежними одна від одної. Фактичні дані, які ми отримуємо, можуть не виглядати незалежними, оскільки коваріати чи інші особливості моделі можуть підказати нам використовувати різні розподіли ймовірностей для різних малюнків (або наборів малюнків). Але вся ця інформація повинна бути вбудована в саму модель. Нам заборонено дозволяти малювати випадкове кінцеве число залежно від того, які значення ми намалювали для інших точок даних. Таким чином, події, які мають бути незалежними, - це рулони "кості природи" в контексті нашої моделі.

Цю ситуацію корисно називати умовною незалежністю , це означає, що точки даних не залежать одна від одної від заданих (тобто обумовлених) коваріатів. У нашому прикладі висоти ми припускаємо, що мій зріст і зріст мого брата, що обумовлюються моєю сім'єю, не залежать один від одного, а також не залежать від вашого зросту і зросту вашої сестри, залежно від вашої родини. Як тільки ми знаємо чиюсь родину, ми знаємо, який звичайний розподіл можна взяти, щоб імітувати їхній зріст, і розіграші для різних осіб незалежні незалежно від їх сім’ї (навіть якщо наш вибір того, який нормальний розподіл можна взяти, залежить від родини). Можливо також, що навіть маючи справу з сімейною структурою наших даних, ми все одно не досягаємо доброї умовної незалежності (можливо, це також важливо, наприклад, моделювати стать).

Зрештою, чи має сенс вважати умовну незалежність спостережень, це рішення, яке повинно бути прийняте в контексті конкретної моделі. Ось чому, наприклад, при лінійній регресії ми не перевіряємо, чи дані надходять від нормального розподілу, але ми перевіряємо, чи ЗАЛИШКИ надходять від нормального розподілу (і від звичайного розподілу SAME по всьому діапазону дані). Лінійна регресія передбачає, що після обліку впливу коваріатів (лінії регресії) дані незалежно відбираються від звичайного розподілу відповідно до суворого визначення незалежності в початковому пості.

У контексті вашого прикладу

"Учитель" у ваших даних може бути як "сім'я" на прикладі висоти.

Остаточний оберт на ньому

Багато знайомих моделей припускають, що залишки виникають у результаті нормального розподілу. Уявіть, я дав вам деякі дані, які дуже явно НЕ були нормальними. Можливо, ви сильно перекошені, а може бути бімодальними. І я сказав вам, "ці дані надходять від нормального розповсюдження".

"Ні в якому разі, - кажете ви, - очевидно, що це не нормально!"

"Хто сказав щось про те, що дані є нормальними?" Я кажу. "Я лише сказав, що вони походять від нормального розподілу".

"Один у тому ж!" ти кажеш. "Ми знаємо, що гістограма досить великої вибірки від нормального розподілу буде виглядати приблизно нормально!"

"Але," я кажу, "я ніколи не говорив, що дані незалежно відбираються від звичайного розподілу. DO приходять від нормального розподілу, але вони не є незалежними."

Припущення про (умовну) незалежність у статистичному моделюванні існує для того, щоб запобігти розумним недолікам, як я, ігнорувати розподіл залишків та неправильно застосовувати модель.

Дві заключні ноти

1) Термін "кістки природи" спочатку не мій, але, не дивлячись на кілька посилань, я не можу зрозуміти, де я його взяв у цьому контексті.

2) Деякі статистичні моделі (наприклад, авторегресивні моделі) не потребують незалежності спостережень цілком таким чином. Зокрема, вони дозволяють розподілу вибірки для даного спостереження залежати не тільки від фіксованих коваріатів, але і від даних, що надійшли до нього.