Достатні та необхідні умови для нульового власного значення кореляційної матриці

Враховуючи випадкової величини , з розподілом ймовірності , кореляційна матриця є позитивною , тобто її власними значеннями є позитивними або нульовими.$n$$X_i$$P(X_1,\ldots,X_n)$$C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$

Мене цікавлять умови на , необхідні та / або достатні, щоб мав нульові власні значення. Наприклад, достатньою умовою є те, що випадкові величини не є незалежними: для деяких реальних чисел . Наприклад, якщо , то є власний вектор з нульовим власним значенням. Якщо ми маємо незалежні лінійні обмежень на «S такого типу, це буде означати нуля власних значень.$P$$C$$m$$\sum_i u_i X_i=0$$u_i$$P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$$\vec u=(1,-1,0,\ldots,0)$$C$$m$$X_i$$m$

Існує принаймні одна додаткова (але тривіальна) можливість, коли для деякої (тобто ), оскільки в цьому У випадку є стовпець і рядок нулів: . Як це не дуже цікаво, я припускаю, що розподіл ймовірностей не є такою формою.$X_a=E[X_a]$$a$$P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$$C_{ij}$$C_{ia}=C_{ai}=0,\,\forall i$

Моє запитання: чи є лінійні обмеження єдиним способом викликати нульові власні значення (якщо ми забороняємо тривіальне виключення, наведене вище), чи можуть нелінійні обмеження випадкових змінних також генерувати нульові власні значення ?$C$

Можливо, спростивши позначення, ми можемо викласти сутнісні ідеї. Виявляється, нам не потрібно включати очікування чи складні формули, адже все суто алгебраїчно.

---

Алгебраїчна природа математичних об'єктів

Питання стосується зв’язків між (1) коваріаційною матрицею скінченного набору випадкових величин та (2) лінійних відношень між цими змінними, що розглядаються як вектори .$X_1, \ldots, X_n$

Векторний простір , про який йде мова безліч всіх кінцево-дисперсія випадкових величин (в будь-якому імовірнісний просторі ) по модулю підпростору майже напевно постійних змінних, позначить L 2 ( Ω , P ) / R . (Тобто, ми вважаємо дві випадкові величини X і Y однаковими векторами, коли є нульовий шанс, що X - Y відрізняється від свого очікування.) Ми маємо справу лише з кінцевим розмірним векторним простором V, породженим X i$(\Omega,\mathbb P)$$\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$$X$$Y$$X-Y$$V$$X_i,$ саме це робить це алгебраїчною проблемою, а не аналітичною.

Що нам потрібно знати про відхилення

- це не просто векторний простір: цеквадратичний модуль,оскільки він оснащений дисперсією. Все, що нам потрібно знати про відхилення, - це дві речі:$V$

1. Дисперсія є скалярною функцією з властивістю Q ( Х ) = а 2 Q ( X ) для всіх векторів X $Q$$Q(aX)=a^2Q(X)$$X.$

2. Дисперсія є невиродженою.

Другий потребує певного пояснення. визначає "крапковий добуток", який є симетричною білінеарною формою, заданою$Q$

$$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$$

(Це, звичайно , нічого, крім коваріації змінних і Y . ) Вектори X і Y є ортогональними , якщо їх скалярний добуток дорівнює 0. ортогональное доповнення будь-якого безлічі векторів ⊂ V складається з усіх векторів , ортогональних до кожного елементу з A , написана$X$$Y.$$X$$Y$$0.$$\mathcal A \subset V$$\mathcal A,$

$$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$$

Це явно векторний простір. Коли , Q є невиродженим.$V^0 = \{0\}$$Q$

Дозвольте мені довести, що дисперсія насправді є невиродженою, хоча це може здатися очевидним. Припустимо, - ненульовий елемент V 0 . Це означає X ⋅ Y = 0 для всіх Y ∈ V ; рівнозначно,$X$$V^0.$$X\cdot Y = 0$$Y\in V;$

$$Q(X+Y) = Q(X-Y)$$

для всіх векторів Прийняття Y = X дає$Y.$$Y=X$

$$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$$

і, отже, Однак ми знаємо (можливо, використовуючи Нерівність Чебишева), що єдині випадкові величини з нульовою дисперсією майже напевно постійні, що ототожнює їх з нульовим вектором у V , QED.$Q(X)=0.$$V,$

Інтерпретація запитань

Повертаючись до запитань, у попередній нотації матриця коваріації випадкових змінних є лише регулярним масивом усіх їх точкових продуктів,

$$T = (X_i\cdot X_j).$$

Існує хороший спосіб подумати про : він визначає лінійне перетворення на R n звичайним способом, передаючи будь-який вектор x = ( x 1 , … , x n ) ∈ R n у вектор T ( x ) = y = ( y 1 , ... , x n ) , i- й компонент заданий правилом множення матриці$T$$\mathbb{R}^n$$x=(x_1, \ldots, x_n)\in\mathbb{R}^n$$T(x)=y=(y_1, \ldots, x_n)$$i^\text{th}$

$$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$$

Ядро цього лінійного перетворення є подпространством він посилає до нуля:

$$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$$

Вищенаведене рівняння слід , що , коли для кожного $x\in \operatorname{Ker}(T),$$i$

$$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$$

Так як це вірно для кожного воно справедливо для всіх векторів , натягнутих на X я , а саме: V сам по собі. Отже, коли x ∈ Ker ( T ) , вектор, заданий ∑ j x j X j, лежить у V 0 . Оскільки дисперсія є невиродженою, це означає ∑ j x j X j = 0. Тобто x описує лінійну залежність серед n початкових випадкових величин.$i,$$X_i$$V$$x\in\operatorname{Ker}(T),$$\sum_j x_j X_j$$V^0.$$\sum_j x_j X_j = 0.$$x$$n$

Ви можете легко перевірити, що цей ланцюжок міркувань є оборотним:

Лінійні залежності між в якості векторів знаходяться у взаємно однозначна відповідність з елементами ядра Т $X_j$ $T.$

(Пам’ятайте, це твердження все ще розглядає як визначене до постійного зрушення місця розташування - тобто як елементи L 2 ( Ω , P ) / R - більше, ніж просто випадкові змінні.)$X_j$$\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$

Нарешті, за визначенням, власне значення з є будь-яким скалярним λ , для яких існує ненульовий вектор х з Т ( х ) = λ х . При λ = 0 є власним значенням, простір власних векторів , асоційованих (очевидно) ядро Т $T$$\lambda$$x$$T(x) = \lambda x.$$\lambda=0$$T.$

---

Підсумок

Ми прибули у відповідь на питання: набір лінійних залежностей випадкових величин, ква елементи відповідає один до одного з ядром їх ковариационной матрицею T . Це так, тому що дисперсія - це невиражена квадратична форма. Ядро також є власним простором, пов'язаним з нульовим власним значенням (або просто нульовим підпростором, коли немає нульового власного значення).$\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$$T.$

---

Довідково

Я значною мірою прийняв позначення та частину мови глави IV в

Жан-П'єр Серре, курс з арифметики. Спрингер-Верлаг 1973.

Лінійна незалежність є не просто достатньою, але й необхідною умовою

Щоб показати, що матриця дисперсії-коваріації має власні значення, що дорівнюють нулю, якщо і лише тоді, коли змінні не є лінійно незалежними, залишається лише показати, що "якщо матриця має власні значення, рівні нулю, то змінні не є лінійно незалежними".

Якщо у вас є нульове власне значення для то існує деяка лінійна комбінація (визначена власним вектором v )$C_{ij} = \text{Cov}(X_i,X_j)$$v$

$$Y = \sum_{i=1}^n v_i (X_i)$$

такий як

$$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$$

що означає, що має бути константою, і, таким чином, змінні X i повинні додати до константи і є або самі константи (тривіальний випадок), або не лінійно незалежні.$Y$$X_i$

^{- перший рядок у рівнянні з зумовлений властивістю коваріації Cov ( a U + b V , c W + d X ) = a $\text{Cov}(Y,Y)$}

$$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$$

^{- крок від другого до третього рядка обумовлений властивістю нульового власного значення}

$$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$$

---

Нелінійні обмеження

Отже, оскільки лінійні обмеження є необхідною умовою (не просто достатньою), нелінійні обмеження будуть актуальними лише тоді, коли вони опосередковано передбачають (необхідне) лінійне обмеження.

Насправді між власними векторами існує пряма відповідність, пов'язана з нульовим власним значенням, та лінійними обмеженнями.

$$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$$

Таким чином, нелінійні обмеження, що ведуть до нульового власного значення, повинні разом у поєднанні генерувати деяке лінійне обмеження.

---

Як можуть нелінійні обмеження призводити до лінійних обмежень

Ваш приклад у коментарях може інтуїтивно показати це, як нелінійні обмеження можуть призвести до лінійних обмежень, перевернувши виведення. Наступні нелінійні обмеження

$$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$$

можна звести до

$$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$$

You could inverse this. Say you have non-linear plus linear constraints, then it is not strange to imagine how we can replace one of the linear constraints with a non-linear constraint, by filling the linear constraints into the non-linear constraints. E.g when we substitute $a=d$ and $b=-c$ in the non-linear form $a^2+b^2=1$ then you can make another relationship $ad-bc=1$. And when you multiply $a=d$ and $c=-b$ then you get $ac=-bd$.

Припустимо $C$ має власний вектор $v$ з відповідним власним значенням $0$, тоді $\operatorname{var}(v^T X) = v^T Cv = 0$. Таким чином, по нерівності Чебишева$v^TX$ майже напевно постійний і дорівнює $v^T E [X]$. Тобто кожному нульовому власному значенню відповідає лінійне обмеження, а саме$v^T X = v^T E[X]$. Не потрібно розглядати будь-які особливі випадки.

Таким чином, робимо висновок:

"є лінійними обмеженнями - єдиним способом спонукати нульові власні значення [?]"

Так.

"Чи можуть нелінійні обмеження на випадкові величини також генерувати нульові власні значення C?"

Так, якщо вони передбачають лінійні обмеження.

Марикс коваріації $C$ з $X$ є симетричним, тому можна діагностувати його як $C=Q\Lambda Q^T$, з власними значеннями в діагональній матриці $\Lambda.$ Переписавши це як $\Lambda=Q^TCQ$, rhs - матриця коваріації $Q^TX$, тому нульові власні значення на lhs відповідають лінійним комбінаціям $X$ з виродженими розподілами.