Чи є кожна матриця коваріації позитивною?

Я думаю, що відповідь має бути так, але я все-таки вважаю, що щось невірно. У літературі повинні бути якісь загальні результати, хтось мені може допомогти?

— Цзіньцзінгс
джерело

Кожна матриця коваріації є позитивною напіввизначеною. Це означає, що кожна матриця коваріації повинна мати негативні власні значення. Якщо жодне з власних значень не дорівнює нулю, то матриця коваріації додатково є позитивно визначеною.

— кака

Пов’язані запитання: Чому кореляційна матриця повинна бути позитивною напіввизначеною і що означає бути позитивною або не бути позитивною напіввизначеною? ; також Чи є кожна кореляційна матриця позитивною напіввизначеною? та Чи є кожна матриця коваріації позитивно визначена

— Срібна рибка

@Jingjings: я бачу у вашому профілі, що ви ніколи не підтримували і не приймали жодних відповідей; це досить примітно, враховуючи, що у вас є багато хороших запитань з багатьма хорошими відповідями. Я думаю, ви насправді не знаєте, як це працює. Ідея полягає в тому, що ви повинні оприлюднити будь-яку відповідь, яку ви вважаєте корисною, і прийняти будь-яку відповідь, на вашу думку, вирішує вашу проблему. Схоже, ви можете отримати багато відповідей, а також прийняти деякі з них.

— амеба каже, що поверніть Моніку

Відповіді:

Немає.

Розглянемо три змінні, , і . Їх матриця коваріації не є позитивно визначеною, оскільки існує вектор ( ), для якого не є додатним. $X$ $Y$ $Z = X+Y$ $M$ $z$ $= (1, 1, -1)'$ $z'Mz$

Матриці коваріації населення є позитивними напіввизначеними.

(Дивіться властивість 2 тут .)

Це, як правило, стосується коваріаційних матриць повних вибірок (відсутніх значень), оскільки вони також можуть розглядатися як форма дискретної коваріації популяції.

Однак через неточність чисельних обчислень з плаваючою комою навіть інколи алгебраїчно позитивні певні випадки можуть бути обчислені навіть не як позитивні напіввизначені; Хороший вибір алгоритмів може допомогти у цьому.

Більш загально, вибіркові матриці коваріації - залежно від того, як вони поводяться з відсутніми значеннями деяких змінних - можуть бути, а можуть і не бути позитивними напіввизначеними, навіть теоретично. Наприклад, якщо використовується парне видалення, то немає гарантії позитивної напіввизначеності. Крім того, накопичена числова помилка може призвести до того, що матриці вибіркової коваріації, які повинні бути умовно позитивними напіввизначеними, не можуть бути.

Так:

 x <- rnorm(30)
 y <- rnorm(30) - x/10 # it doesn't matter for this if x and y are correlated or not
 z <- x+y
 M <- cov(data.frame(x=x,y=y,z=z))
 z <- rbind(1,1,-1)
 t(z)%*%M%*%z
              [,1]
[1,] -1.110223e-16

Це сталося на першому прикладі, який я спробував (напевно, я мав би поставити насіння, але це не так рідко, що вам доведеться спробувати багато прикладів, перш ніж отримати його).

Результат вийшов негативним , хоча він повинен бути алгебраїчно нульовим. Інший набір чисел може дати позитивне число або "точний" нуль.

Приклад помірної відсутності, що призводить до втрати позитивної напівдефінітності через парне видалення:

z <- x + y + rnorm(30)/50  # same x and y as before.
xyz1 <- data.frame(x=x,y=y,z=z) # high correlation but definitely of full rank 

xyz1$x[sample(1:30,5)] <- NA   # make 5 x's missing  

xyz1$y[sample(1:30,5)] <- NA   # make 5 y's missing  

xyz1$z[sample(1:30,5)] <- NA   # make 5 z's missing  

cov(xyz1,use="pairwise")     # the individual pairwise covars are fine ...

           x          y        z
x  1.2107760 -0.2552947 1.255868
y -0.2552947  1.2728156 1.037446
z  1.2558683  1.0374456 2.367978

 chol(cov(xyz1,use="pairwise"))  # ... but leave the matrix not positive semi-definite

Error in chol.default(cov(xyz1, use = "pairwise")) : 
  the leading minor of order 3 is not positive definite

 chol(cov(xyz1,use="complete")) # but deleting even more rows leaves it PSD

          x          y          z
x 0.8760209 -0.2253484 0.64303448
y 0.0000000  1.1088741 1.11270078
z 0.0000000  0.0000000 0.01345364

— Glen_b
джерело

+1: Але як коментар, головним чином, для вас формулювання: Коли ви його представляєте, схоже, що PSD-ність не гарантована в загальному випадку. Як показано у відповіді sjm.majewski, вам потрібен "патологічний" випадок (неповний ранг), і ви закінчите це питання. (Я повністю згоден з коментарем до числа) Чи можете ви розробити трохи більше проблем з відсутніми значеннями, коли ви навіть не можете гарантувати PSD, навіть якщо враховуєте числові помилки? (Я припускаю, що ви не переймаєтесь рідкістю вимірювань і т.п.)

— usεr11852 повідомляє Відновити Монік

Звичайно, це відбувається лише тоді, коли він не є повноцінним (або дуже близьким до нього). Подивіться на визначення PSD (і згадки @ sjm.majewski про відношення до дисперсії), і це багато чого зрозуміло. Але визначити це як патологічне видається дивним, оскільки такі неповні рангові ситуації трапляються постійно на практиці. Це непроста педантизм - вона впливає на реальні набори даних щодня, і як результат, тут виникають регулярні запитання. Я розповім про відсутність та парне вилучення вище, тому що тут немає місця для цього.

— Glen_b

Я думаю , що було б здорово , щоб додати до цього відповіді явного зауваження , що в ситуації зразка ковариационной матриця буде гарантовано не бути позитивно певним (вона буде низький рангом, тобто буде мати деякі нульові власні значення). Я шукав, чи є у нас нитка, яку цей Q stats.stackexchange.com/questions/198488 можна закрити як дублікат, і я думаю, що це був би хороший кандидат, але ви, схоже, не згадуєте справа.

n < p

$n<p$

n < p

$n<p$

— амеба каже, що поверніть Моніку

Ну а щоб зрозуміти, чому матриця коваріації сукупності завжди є позитивною напіввизначеною, зауважте, що: де є деякими дійсними числами, а - деякими реальними значеннями випадкових величин.

\sum_{i, j = 1}^{n} y_{i} \cdot y_{j} \cdot C o v (X_{i}, X_{j}) = V a r (\sum_{i = 1}^{n} y_{i} X_{i}) \geq 0

$\sum_{i,j =1}^{n} y_i \cdot y_j \cdot Cov(X_i, X_j) = Var(\sum_{i=1}^n y_iX_i) \geq 0$

y_{i}

$y_i$

X_{i}

$X_i$

Це також пояснює, чому в прикладі, наведеному Glen_b, матриця коваріації не була визначеною позитивно. Ми мали , і , так , і дисперсія випадкової величини, яка є постійною, дорівнює . $y_1 =1 , y_2 = 1, y_3 = -1$ $X_1 = X, X_2 = Y, X_3 = Z = X+Y$ $\sum_{i=1}^{3} y_iX_i = 0$ $0$

— sjm.majewski
джерело

Приємно! Upvote;)

— Старий чоловік у морі.

Це повинно бути прийнятою відповіддю. Питання просто задає питання про "коваріаційні матриці", які, як правило, стосуються матриці коваріації сукупності випадкових змінних, а не вибірки.

— user3303

Чи можу я запитати, яку формулу ви використали у своїй відповіді?

— Aqqqq

Якщо ви маєте на увазі формулу з дисперсією та коваріацією, то ви можете вивести її з формули квадрата суми (тобто квадрат суми дорівнює сумі добутків для всіх пар).

— sjm.majewski