Вимірювання нелінійної залежності

Коваріація між двома випадковими змінними визначає міру того, наскільки вони лінійно пов'язані між собою. Але що робити, якщо спільний розподіл круговий? Звичайно, в структурі розподілу є структура. Як ця структура видобувається?

covariance-matrix

— Нескінченність
джерело

Відповіді:

Під "круговим" я розумію, що розподіл зосереджено на круговій області, як у цій контурній графіці pdf.

Контурна ділянка кругового розподілу

Якщо така структура існує, навіть частково, природним способом її ідентифікації та вимірювання є середнє розподіл по колу навколо її центру . (Інтуїтивно це означає, що для кожного можливого радіуса ми повинні поширювати ймовірність перебування на відстані від центру однаково навколо у всіх напрямках.) Позначаючи змінні як , центр повинен бути розташований у точці перші моменти . Для проведення усереднення зручно визначити функцію радіального розподілу $r$ $r$ $(X,Y)$ $(\mu_X, \mu_Y)$

F (ρ) = Pr [(X - μ_{X})^{2} + (Y - μ_{Y})^{2} \leq ρ^{2}], ρ \geq 0;

$F(\rho) = \Pr[(X-\mu_X)^2 + (Y-\mu_Y)^2 \le \rho^2], \rho \ge 0;$

F (ρ) = 0, ρ < 0.

$F(\rho) = 0, \rho \lt 0.$

Це фіксує загальну ймовірність пролягання між відстані та центром від центру. Для того, щоб поширити його на всіх напрямках, нехай випадкова величина з ВПР і рівномірна випадкова величина на незалежно від . Біваріантна випадкова величина - це середнє значення . (Це робить роботу, яку наша інтуїція вимагає "кругового середнього", тому що (а) вона має правильний радіальний розподіл, а саме за побудовою, і (b) всі напрямки від центру ( $0$ $\rho$ $R$ $F$ $\Theta$ $[0, 2\pi]$ $R$ $(\Xi, H) = (R\cos(\Theta) + \mu_X, R\sin(\Theta)+\mu_Y)$ $(X,Y)$ $F$ $\Theta$ ) однаково вірогідні.)

На даний момент у вас є багато варіантів: залишається лише порівняти розподіл з розподілом . Можливості включають відстань та розбіжність Кульбека-Лейблера (разом із безліччю мір, пов'язаних з відстані: симетризована дивергенція, відстань Геллінгера, взаємна інформація тощо ). Порівняння припускає, що може мати кругову структуру, коли вона "близька" до . У цьому випадку структура може бути «вилучені» з властивостей . Наприклад, міра центрального розташування , така як його середня або медіана, ідентифікує "радіус" розподілу $(X,Y)$ $(\Xi, H)$ $L^p$ $(X,Y)$ $(\Xi, H)$ $F$ $F$ $(X,Y)$ , а стандартне відхилення (або інша міра масштабу) виражає те, як "розтікаються" в радіальних напрямках щодо їх центрального розташування . $F$ $(X,Y)$ $(\mu_X, \mu_Y)$

Під час вибірки з розподілу з даними , розумним тестом на циркулярність є оцінка центрального розташування як зазвичай (за допомогою засобів або медіанів) і звідти перетворення кожного значення у полярні координати відносно оціночного центру. Порівняйте стандартне відхилення (або IQR) радіусів із середнім значенням (або медіаною). Для некруглих розподілів співвідношення буде великим; для кругових розподілів він повинен бути порівняно невеликим. (Якщо ви маєте на увазі конкретну модель для базового розподілу, ви можете опрацювати розподіл вибірки радіальної статистики та побудувати з нею тест на значимість.) Окремо випробуйте кутову координату на рівномірність у інтервалі $(x_i,y_i), 1 \le i \le n$ $(x_i,y_i)$ $(r_i, \theta_i)$ $[0, 2\pi)$ . Це буде приблизно рівномірним для кругових розподілів (і для деяких інших розподілів теж); нерівномірність вказує на відхід від кругової.

— дзижчати
джерело

Дякую! Хоча це не зовсім зрозуміло, але це дає мені певну думку. Чи можете ви порадити читання, де вирішуються такі розподіли? Я зазнав впливу лише гауссів та інших стандартних розподілів. Інше питання, чи це має щось спільне з функціями радіального розподілу атомів тощо?

— Нескінченність

@ Infinity Дайте мені знати, яка частина незрозуміла, тому я можу спробувати виправити її. Я не знаю, де обговорюються такі розподіли, але відповідний аналіз можна знайти в літературі про "кругові розподіли". Математичні ідеї, що лежать в основі, дійсно дещо перервано з атомною орбітальною теорією. Відповідні поняття включають відокремленість рівняння Шредінгера за сферичними координатами, побудову міри Хаара компактної групи Лі шляхом усереднення та порівняння орбіталей за допомогою інтегралів, що перекриваються.

— whuber

Дякую. Я дуже новачок щодо ймовірності та статистики, тому, ймовірно, це було через те. Я насправді не розумію, що ви маєте на увазі під "середнім розподілом по колу навколо його центру", я думаю, це означає середнє значення всіх кіл, щоб залишився лише один круг із центром у та радіусі як ніби підходить лінійна лінія регресії. Це правильно?

(μ_{X}, μ_{Y})

$(\mu_X, \mu_Y)$

ρ

$\rho$

— Нескінченність

Інший сумнів у мене полягає в тому, що функція розподілу здається, описує диск, але цифра (і те, що я мав на увазі) - це кільце. Випадкова величина описує середнє коло в полярній формі. Мені шкода, що я чітко не розумію, що буде далі. Я розумію, ми порівнюємо два розподіли, використовуючи деяку метрику відстані, але чому особливий і як це допомагає, я не можу міркувати. Мені шкода, якщо питання здаються занадто дурними.

F (ρ)

$F(\rho)$

(Ξ, H)

$(\Xi, H)$

(Ξ, H)

$(\Xi, H)$

— Нескінченність

@ Infinity я додав кілька уточнюючих зауважень. Ви не оцінюєте кола; скоріше, ви оцінюєте (або «мазаєте») всю ймовірність по кожному колу, так що незалежно від того, з чого ви починали, це виглядає як моя картина (з круглими контурами). Якщо оригінальний розподіл був справді круговим, це усереднення не змінює його. Таким чином, порівнюючи розподіл з його усередненою версією, ви говорите про те, наскільки це далеко не кругообіг.

— whuber

Взаємна інформація має властивості, дещо аналогічні коваріації. Коваріація - це число, яке дорівнює 0 для незалежних змінних, і ненулеве значення для змінних, лінійно залежних. Зокрема, якщо дві змінні однакові, то коваріація дорівнює дисперсії (що зазвичай є додатним числом). Одне з питань коваріації полягає в тому, що він може бути нульовим, навіть якщо дві змінні не є незалежними, за умови, що залежність нелінійна.

Взаємна інформація (ІМ) - це негативне число. Він дорівнює нулю, якщо і тільки якщо дві змінні статистично незалежні. Ця властивість є більш загальною, ніж коваріація і охоплює будь-які залежності, включаючи нелінійні.

Якщо дві змінні однакові, MI дорівнює ентропії змінної (знову ж таки, як правило, додатне число). Якщо змінні різні та не детерміновано пов'язані, то ІМ менший, ніж ентропія. У цьому сенсі ІМ двох змінних перебуває між 0 і H (ентропія), причому 0 тільки якщо незалежний, а H лише у випадку детермінованої залежності.

Одна відмінність від коваріації полягає в тому, що «ознака» залежності ігнорується. Напр. , але . $Cov(X, -X) = -Cov(X, X) = -Var(X)$ $MI(X, -X) = MI(X, X) = H(X)$

— SheldonCooper
джерело

Чи можете ви розширити, як ця концепція дає відповідь на питання?

— onestop

Погляньте на наступну статтю з науки - вона точно стосується вашої точки зору:

Виявлення нових асоціацій у великих наборах даних Девід Н. Решеф та ін.

З реферату:

Виявлення цікавих зв’язків між парами змінних у великих наборах даних стає все більш важливим. Тут ми представляємо міру залежності для двох змінних відношень: максимальний інформаційний коефіцієнт (MIC). MIC фіксує широкий спектр асоціацій як функціональних, так і не, а для функціональних зв'язків забезпечує бал, який приблизно дорівнює коефіцієнту визначення (R ^ 2) даних щодо функції регресії. MIC належить до більшого класу статистики максимальної непараметричної розвідки на основі інформації (MINE) для виявлення та класифікації взаємозв'язків. Ми застосовуємо MIC та MINE до наборів даних у галузі глобального здоров'я, експресії генів, бейсболу вищої ліги та мікробіоти кишечника людини та визначаємо відомі та нові стосунки.

Додатковий матеріал ви знайдете тут: http://www.sciencemag.org/content/suppl/2011/12/14/334.6062.1518.DC1

Автори навіть надають безкоштовний інструмент, що включає новий метод, який можна використовувати з R та Python: http://www.exploredata.net/

— фондж
джерело