Що говорить обернена матриця коваріації про дані? (Інтуїтивно)

Мені цікаво природу . Чи може хто-небудь розповісти щось інтуїтивно про "Що говорить про дані?" $\Sigma^{-1}$ $\Sigma^{-1}$

Редагувати:

Дякуємо за відповіді

Пройшовши кілька чудових курсів, я хотів би додати кілька балів:

Це міра інформації, тобто - кількість інформації вздовж напрямку . $x^T\Sigma^{-1}x$ $x$
Подвійність: Оскільки є позитивно визначеним, тож і , тож вони є точково-добутковими нормами, точніше, вони є подвійними нормами одне одного, тож ми можемо вивести Fenchel подвійний для заданих найменших квадратів, і зробити максимізацію wrt подвійною проблемою. Ми можемо вибрати будь-яку з них, залежно від їх кондиції. $\Sigma$ $\Sigma^{-1}$
Простір Гільберта: стовпці (та рядки) та охоплюють один і той же пробіл. Отже, немає жодної переваги (інша, якщо одна з цих матриць не обумовлена) між представленням із або $\Sigma^{-1}$ $\Sigma$ $\Sigma^{-1}$ $\Sigma$
Байєсова статистика: норма відіграє важливу роль у баєсівській статистиці. Тобто це визначило, скільки інформації ми маємо в попередньому, наприклад, коли коваріація попередньої щільності схожа на ми маємо неінформативний характер (або, можливо, раніше Джеффріс) $\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
Статистика частотних лікарів : Це тісно пов'язане з інформацією про Фішера, використовуючи пов'язаний Крамер-Рао. Насправді, матриця інформації про рибалки (зовнішній добуток градієнта ймовірності з собою) є обмеженою ним Крамера-Рао, тобто $\Sigma^{-1}\preceq \mathcal{F}$ (wt позитивний напіввизначений конус, концентрація iewrt еліпсоїди). Отже, коли $\Sigma^{-1}=\mathcal{F}$ оцінювач максимальної ймовірності є ефективним, тобто максимум інформації існує в даних, тому частофілістський режим є оптимальним. Простіше кажучи, для деяких імовірнісних функцій (зауважте, що функціональна форма ймовірності суто залежить від імовірнісної моделі, яка нібито генерує дані, також генеративної моделі), максимальна ймовірність є ефективним і послідовним оцінником, правила як начальник. (вибачте за перевитрату)

— Ар'я
джерело

Я думаю, що PCA підбирає власний вектор з великими власними значеннями, а не малими власними значеннями.

— wdg

(3) Невірно, тому що рівносильно стверджувати, що стовпці - це (до перестановки), що справедливо лише для матриці ідентичності.

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

— whuber

Відповіді:

Це міра точності так само, як - міра дисперсії. $\Sigma$

Більш детально, - це міра розподілу змінних навколо середнього (діагональних елементів) і як вони співпадають з іншими змінними (позадіагональними) елементами. Чим більше дисперсія тим далі від середньої величини, і чим вони більше змінюються (в абсолютній величині) з іншими змінними, тим сильнішою є тенденція до їх «переміщення разом» (у тому ж або протилежному напрямку залежно від знак коваріації). $\Sigma$

Аналогічно, - це міра того, наскільки щільно кластеризовані змінні знаходяться навколо середнього значення (діагональних елементів) та наскільки вони не співпадають з іншими змінними (позадіагональні елементи). Таким чином, чим вище діагональний елемент, тим жорсткіше змінна згрупується навколо середнього. Інтерпретація позадіагональних елементів є більш тонкою, і я посилаюсь на інші відповіді на цю інтерпретацію. $\Sigma^{-1}$

— опора
джерело

Важливий зустрічний приклад останнього твердження про позадіагональні елементи в надається найпростішим нетривіальним прикладом у двох вимірах: Більш великі позадіагональні значення відповідають більш екстремальним значенням коефіцієнта кореляції що є протилежним тому, що ви, здається, говорите.

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

— whuber

@whuber Правильно. Мені слід позбутися «абсолютного» слова в останньому реченні. Спасибі

— підпр

Дякую, але це все ще не вирішує проблему: взаємозв'язок, який ти стверджуєш між позадіагональними елементами зворотного та ко-варіацією, не існує.

— whuber

@whuber Я думаю, що це так. У вашому прикладі позадіагональні елементи негативні. Тому, як збільшується недіагональні елементи зменшуються. Ви можете перевірити це, зазначивши наступне: при недіагональний елемент дорівнює ; як наближається до недіагональних елементів а похідна від діагонального елемента щодо негативна.

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

— підтримка

Мої недіагональні елементи позитивні, коли

ρ < 0.

$\rho\lt 0.$

— whuber

Використовуючи суперскрипти для позначення елементів оберненої, - це дисперсія компонента змінної яка некорельована з іншими змінними , і - часткова кореляція змінних і , що контролює інших змінних. $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

— Рей Купман
джерело