Незалежність - це статистичне поняття. Дві випадкові величини і Y є статистично незалежними, якщо їх спільний розподіл є добутком граничних розподілів, тобто
f ( x , y ) = f ( x ) f ( y ),
якщо кожна змінна має щільність f , або більш загально
F ( x , y ) = F ( x ) F ( y ),
де FXY
f(x,y)=f(x)f(y)
fF(x,y)=F(x)F(y)
F позначає функцію кумулятивного розподілу кожної випадкової величини.
Кореляція є слабшою, але пов'язаною із цим статистичною концепцією. Кореляція (Пірсона) двох випадкових величин - це тривалість добутку стандартизованих змінних, тобто
Змінні неспіввідносяться,якщоρ=0. Можна показати, що дві випадкові величини, які є незалежними, обов'язково є некорельованими, але не навпаки.
ρ=E[X−E[X]E[(X−E[X])2]−−−−−−−−−−−−√Y−E[Y]E[(Y−E[Y])2]−−−−−−−−−−−−√].
ρ=0
Ортогональність - це поняття, яке зародилося в геометрії, і було узагальнено у лінійній алгебрі та суміжних галузях математики. У лінійної алгебри, ортогональность двох векторів і V визначається в внутрішніх просторів продукції , тобто векторні простору з внутрішнім твором ⟨ ¯u , про ⟩ , як за умови , що
⟨ U , V ⟩ = 0.
Скалярний твір може бути визначено в різні способи (внаслідок чого виникають різні внутрішні простори виробів). Якщо вектори задані у вигляді послідовностей чисел, u = ( uuv⟨u,v⟩
⟨u,v⟩=0.
, то типовий вибір є
скалярний твір,
⟨ U , v ⟩ = Σ п я = 1 U я V I .
u=(u1,u2,…un)⟨u,v⟩=∑ni=1uivi
Ортогональність, таким чином, не є статистичною концепцією, і замішання, яке ви спостерігаєте, ймовірно, пов'язане з різними перекладами поняття лінійної алгебри до статистики:
⟨X,Y⟩=cov(X,Y)=E[(X−E[X])(Y−E[Y])].
Оскільки кореляція двох випадкових змінних дорівнює нулю, якщо коваріація дорівнює нулю,
згідно з цим визначенням некорельованість є такою ж, як ортогональність. (Інша можливість - визначити внутрішній добуток випадкових величин просто як
тривалість продукту .)
б) Не всі змінні, які ми розглядаємо в статистиці, є випадковими змінними. Особливо в лінійній регресії у нас є незалежні змінні, які не вважаються випадковими, а заздалегідь визначеними. Незалежні змінні зазвичай подаються у вигляді послідовностей чисел, для яких ортогональність природно визначається крапковим твором (див. Вище). Потім ми можемо дослідити статистичні наслідки регресійних моделей, де незалежні змінні є ортогональними або не є. У цьому контексті ортогональність не має конкретного статистичного визначення, і навіть більше: воно не стосується випадкових змінних.
Доповнення у відповідь на коментар Silverfish: Ортогональність має відношення не тільки до оригінальних регресорів, але й щодо контрастів, тому що (набори) простих контрастів (заданих контрастними векторами) можна розглядати як перетворення матриці проектування, тобто набору незалежних змінних, у новий набір незалежних змінних. Ортогональність контрастів визначається за допомогою крапкового добутку. Якщо вихідні регресори взаємно ортогональні і один застосовує ортогональні контрасти, нові регресори теж є ортогональними. Це гарантує, що набір контрастів можна розглядати як опис розкладання дисперсії, наприклад, на основні ефекти та взаємодії, ідею, що лежить в основі ANOVA .
Оскільки, згідно з варіантом а), неспорідненість та ортогональність - це лише різні назви для однієї і тієї ж речі, на мій погляд, найкраще уникати використання терміна в цьому сенсі. Якщо ми хочемо поговорити про неспорідненість випадкових змінних, давайте просто скажемо так, а не ускладнюємо справи, використовуючи інше слово з іншим фоном та різними наслідками. Це також звільняє термін ортогональність, що використовується у варіанті б), що дуже корисно, особливо при обговоренні множинної регресії. І навпаки, нам слід уникати застосування терміна кореляції до незалежних змінних, оскільки вони не є випадковими змінними.
r
Я розкинув посилання на відповіді на два пов'язані з цим питання по всьому вищезгаданому тексту, які допоможуть вам поставити їх у контекст цієї відповіді.
