Що означає ортогональ у контексті статистики?

60

В інших контекстах ортогональний означає «під прямим кутом» або «перпендикулярний».

Що означає ортогональний у статистичному контексті?

Дякую за будь-які роз’яснення.

descriptive-statistics

2

Дякую за запитання. Я запитав більш загальне: що таке поширене серед усіх випадків ортогональності. Мені також було цікаво дізнатись, як відповідає статистична незалежність цій властивості? physics.stackexchange.com/questions/67506

— Вал

5

Я здивований, що жодна з відповідей тут не згадує, що зазвичай це розуміється в математичному сенсі слова "лінійна алгебра". Наприклад, коли ми говоримо про «ортогонального набору змінних» , як правило , це означає , що

для матриці з безліччю змінних

. Також використовується "ортонормальне".

X^{T} X = I

$X^{T}X=I$

X

$X$

— ймовірністьлогічний

4

@ ймовірність "Ортогональний" має значення для векторного простору з квадратичною формою

: два вектори

і

є ортогональними тоді і лише тоді, коли

. "Ортонормированном" означає , крім того , що

. Таким чином, "ортогональні" та "ортонормальні" не є синонімами, а також не обмежуються кінцевими матрицями. ( Наприклад ,

і

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$ можуть бути елементами простору Гільберта, як, наприклад, простір

комплексних функцій на

використовується в класичній квантовій механіці.

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

— whuber

Цей посилання може допомогти зрозуміти (не) зв’язок ортогональності та кореляції. alecospapadopoulos.wordpress.com/2014/08/16/…

— RBirkelbach

Зростаюча колекція різних (але правильних) відповідей вказує на те, що це хороша нитка CW.

— whuber

-16

Це означає, що вони [випадкові величини X, Y] є "незалежними" один від одного. Незалежні випадкові величини часто вважаються під прямим кутом один до одного, де під «прямим кутом» мається на увазі, що внутрішній добуток двох дорівнює 0 (еквівалентна умова лінійної алгебри).

Наприклад, на площині XY вісі X і Y називаються ортогональними, оскільки якщо зміна x значення даної точки, скажімо, переходить від (2,3) до (5,3), його значення y залишається колишнім (3), і навпаки. Отже, дві змінні є "незалежними".

Дивіться також записи Вікіпедії про незалежність та ортогональність

— crazyjoe
джерело

24

Оскільки різниця між кореляцією та відсутністю залежності є важливою, прирівнювати ортогональність до незалежності не годиться.

— whuber

Оскільки ні ОП, ні відповідальний персонал не працюють більше року, напевно, варто редагувати це, щоб принаймні дати чітку відповідь. Я спробував це.

— Асад Ебрагім

1

Одним із загальних зустрічних прикладів цієї статистики є PCA проти ICA, при цьому PCA забезпечує ортогональність та ICA максимізує незалежність.

— jona

5

Модераторам: Прикро, що це хороше і дуже популярне питання "застрягло" у відповідь, що стільки думок було б краще занизити (поточний бал -4). Оскільки і ОП, і відповідач не працюють більше року, можливо, "прийняту" перевірку можна буде зняти, а питання залишити "відкритим". Більш повні відповіді нижче говорять самі за себе.

— Асад Ебрагім

1

@Assad мод не може зняти прийняття ОП. Ось провінція ОП.

— Glen_b

33

Я не можу коментувати, оскільки мені не вистачає балів, тому я змушений говорити про це як відповідь, будь ласка, пробач мене. Мало що я знаю, я не погоджуюся з обраною відповіддю від @crazyjoe, оскільки ортогональність визначається як

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

Тому:

Якщо із симетричним pdf, вони залежать ще від ортогональних. $Y=X^2$

Якщо але pdf нуль для від'ємних значень, то вони залежать, але не є ортогональними. $Y=X^2$

Тому ортогональність не передбачає незалежності.

— user497804
джерело

2

Y^{*}

$Y^{*}$

2

@mugen, ймовірно, вказує на складний кон'югат.

— А.Донда

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

21

Якщо X і Y незалежні, то вони є ортогональними. Але зворотне не відповідає дійсності, на що вказує розумний приклад користувача497804. Точні визначення див

$C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(Стор. 376, Ймовірність та випадкові процеси Джеффрі Гріммета та Девіда Стірзакера)

$X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

$f(x,y) = f_X(x)f_Y(y)$

(Сторінка 99, Вірогідність та випадкові процеси Джеффрі Гріммета та Девіда Стірзакера)

— Нареш
джерело

21

@Mien вже дав відповідь, і, як вказував @whuber, ортогональний означає некорельований. Однак я дуже хочу, щоб люди надавали деякі довідки. Ви можете вважати наступні посилання корисними, оскільки вони пояснюють поняття кореляції з геометричної точки зору.

Геометрія векторів (див. Стор. 7)
Лінійно незалежні, ортогональні та некорельовані змінні
Графічне зображення двовимірної кореляції у векторному просторі (може не бути вільним для вас)

— Бернд Вайс
джерело

1

Друга посилання пояснила все, що я хотів знати. Дякую! :)

— Ленар Хойт

Реальні значення випадкових величин Xі Yє некорельованими тоді і лише тоді, коли центрировані змінні X-E(X)і Y-E(Y)є ортогональними. [ref]

— knedlsepp

1

@Bernd Перші два посилання не працюють.

— перевантажені

@overwhelmed Я здогадуюсь, що це стаття, на яку вказувала друга посилання.

— Josh O'Brien

8

Веб-сайт NIST (див. Нижче) визначає ортогональне так: "Експериментальна конструкція є ортогональною, якщо ефекти будь-якого фактора врівноважуються (сума до нуля) через вплив інших факторів".

У статистичному розумінні я розумію, що ортогональний означає «не є співавтором» або «не відчужений». Це важливо при розробці та аналізі експерименту, якщо ви хочете переконатися, що ви зможете чітко визначити різні фактори / методи лікування. Якщо ваш розроблений експеримент не є ортогональним, це означає, що ви не зможете повністю розділити наслідки різних методів лікування. Таким чином, вам знадобиться провести наступний експеримент, щоб усунути ефект. Це можна назвати доповненим розбірливим або порівняльним дизайном.

Незалежність здається поганим вибором слова, оскільки його використовують у багатьох інших аспектах дизайну та аналізу.

NIST Ref http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

— Кріс
джерело

3

+1 для введення експериментального контексту дизайну. Слово "ортогональне" заслуговує на те, що воно вживається тут, оскільки воно є фактично тим самим, що й математичне поняття: вектори (стовпці), що представляють фактори в експерименті, розглядаються як елементи евклідового простору, справді будуть ортогональними (справа) кути, з нульовим крапковим виробом) в ортогональній конструкції.

— whuber

2

Це, швидше за все, вони означають "неспоріднені", якщо кажуть "ортогональні"; якщо два фактори є ортогональними (наприклад, при факторному аналізі), вони не пов'язані між собою, їх кореляція дорівнює нулю.

— Мієн
джерело

3

Коефіцієнт кореляції - це (або природно інтерпретується як) косинус кута. Коли він дорівнює нулю, як ви думаєте, кут? :-) Непов'язане не означає непов'язане!

— whuber

Я не кажу, що ви помиляєтесь, але чи можете ви надати мені приклад чогось непов'язаного та пов’язаного; чи навпаки? Я не впевнений, що розумію різницю.

— Мінь

І так, я знаю, що цей кут був би 90 °. Прямий кут є ортогональним.

— Мінь

5

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

Ага так, дякую. Але навпаки це неможливо, чи не існує (якщо немає третьої змінної чи чогось подібного)?

— Мінь

2

Згідно з http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf , лінійна незалежність є необхідною умовою ортогональності або некорельованості. Але є більш тонкі відмінності, зокрема, ортогональність не є некорельованою.

— user45059
джерело

1

$(X,Y)$ $X\cdot Y=0$

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

— Діого
джерело

1

В економетриці припущення ортогональності означає, що очікуване значення суми всіх помилок дорівнює 0. Усі змінні регресора ортогональні їх поточним умовам помилок.

$E(x_{i}·ε_{i}) = 0$

Простіше кажучи, це означає, що регресор "перпендикулярний" до терміну помилки.

— Леопольд В.
джерело

-2

Два або більше IV, не пов'язаних між собою (незалежними), але обидва мають вплив на DV. Кожен IV окремо вносить виразну цінність у результат, тоді як обидва або всі ІV також додатково вносять внесок у прогнозування доходу (ортогональний = непересічний вплив IV на ДВ). IV є некореляційними між собою і зазвичай розміщуються під прямим кутом * див. Діаграму Венна.

Приклад: Зв'язок між мотивацією та роками освіти щодо доходу.

IV = роки освіти IV = мотивація DV = дохід

https://onlinecourses.science.psu.edu/stat505/node/167

— Пат
джерело

-2

Пов'язані випадкові змінні означають, що змінні, наприклад, X і Y, можуть мати будь-яке відношення; може бути лінійним або нелінійним. Незалежність та ортогональні властивості однакові, якщо дві змінні лінійно пов'язані.

— J Субрамані
джерело

2

Це продовжує помилку, допущену crazyjoe: ортогональність не передбачає незалежності, якщо змінні не є нормально розподіленими.

— whuber