Як я вивчаю "кореляцію" між неперервною змінною та категоріальною змінною?

19

Який змістовний "кореляційний" захід для вивчення співвідношення між цими двома типами змінних?

В R, як це зробити?

r correlation categorical-data association-measure

— Луна
джерело

1

перед тим, як запитати "як ти вчишся", ти повинен мати відповідь на "як ти визначаєш" :-) BTW, якщо ти запроектуєш категоричну змінну на цілі числа, ти вже можеш зробити кореляцію.

— Цікаво

2

@Tomas, якщо ви це зробите, орієнтовна сила відносин залежить від того, як ви вирішили позначити точки, що страшно :)

— Макрос

@Macro, ти маєш рацію - ще один вагомий аргумент для того, щоб добре визначитись!

— Цікаво

@Macro Якщо я не зрозумів вашу думку, ні. Кореляція нечутлива до лінійних перетворень. Тож cor (X, Y) = cor (a + bX, Y) для кінцевих a і b. Повторне позначення 0/1 як 1/11 не приводить до кореляцій за допомогою цього var або його лінійного перетворення.

— Олексій

@Curious дивіться мій коментар до Макросу вище. І зверніть увагу: (1) X <- sample(c(0,1),replace=TRUE,size=100)(2) Y <- X + rnorm(100,0.5)(3) corr(Y,X)(4) X <- 1 + 10*X(5) corr(X,Y): однакові результати для обох кореляцій!

— Олексій

19

На мить давайте ігноруємо суцільну / дискретну проблему. В основному кореляція вимірює міцність лінійної залежності між змінними, і ви, здається, просите альтернативний спосіб вимірювання сили зв’язку. Можливо, вам буде цікаво переглянути деякі ідеї з теорії інформації . Конкретно, я думаю, ви можете переглянути взаємну інформацію . Взаємна інформація, по суті, дає вам змогу кількісно оцінити, наскільки знання стану однієї змінної говорить вам про іншу змінну. Я насправді думаю, що це визначення ближче до того, що має на увазі більшість людей, коли вони думають про кореляцію.

Для двох дискретних змінних X і Y обчислення відбувається таким чином:

I (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)})

$I(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) }$

Для двох безперервних змінних ми інтегруємо, а не беремо суму:

I (X; Y) = \int_{Y} \int_{X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)}) d x d у

$I(X;Y) = \int_Y \int_X p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) } \; dx \,dy$

Ваш конкретний приклад використання призначений для однієї дискретної та однієї безперервної дії. Замість того, щоб інтегруватись над сумою або підсумовувати над інтегралом, я думаю, що було б легше перетворити одну зі змінних в інший тип. Типовим способом цього стане дискретизація вашої безперервної змінної на дискретні бункери.

Існує кілька способів дискретизації даних (наприклад, рівні інтервали), і я вважаю, що пакет ентропії повинен бути корисним для обчислень MI, якщо ви хочете використовувати R.

— Майкл Макгован
джерело

1

Спасибі. Але наскільки високий ІМ відповідає corr = 1 і як низький ІМ відповідає corr = 0?

— Луна

MI має мінімум 0, а MI = 0 тоді і лише тоді, коли змінні незалежні. MI не має постійної верхньої межі, хоча (верхня межа пов'язана з ентропіями змінних), тому ви, можливо, захочете переглянути одну з нормованих версій, якщо це важливо для вас.

— Майкл МакГоуан

6

Якщо категоріальна змінна є порядковою, і ви поєднуєте безперервну змінну на кілька інтервалів частоти, ви можете використовувати Gamma. Також доступними для парних даних, що вводяться в порядкову форму, є танда Кендала, тау Стюарт та Сомерс Д. Усі вони доступні в SAS за допомогою Proc Freq. Я не знаю, як вони обчислюються, використовуючи R процедури. Ось посилання на презентацію, яка надає детальну інформацію: http://facturing.unlv.edu/cstream/ppts/QM722/measuresofassociation.ppt#260,5, Заходи Асоціації номінальних та звичайних змінних

— Майкл Р. Черник
джерело

1

Категорична змінна фактично є лише набором змінної індикатора. Основна ідея теорії вимірювань полягає в тому, що така змінна інваріантна для відновлення категорій, тому немає сенсу використовувати числове маркування категорій у будь-якому вимірі взаємозв'язку між іншою змінною (наприклад, "кореляція") . З цієї причини і міра взаємозв'язку між неперервною змінною та категоріальною змінною повинна повністю базуватися на індикаторних змінних, похідних від останньої.

Зважаючи на те, що ви хочете мірити "кореляцію" між двома змінними, має сенс подивитися на кореляцію між неперервною випадковою змінною та індикаторною випадковою змінною отриманою з та категоричної змінної. Нехай маємо: $X$ $I$ $\phi \equiv \mathbb{P}(I=1)$

C o v (I, X) = E (I X) - E (I) E (X) = ϕ [E (X | I = 1) - E (X)],

$\mathbb{Cov}(I,X) = \mathbb{E}(IX) - \mathbb{E}(I) \mathbb{E}(X) = \phi \left[ \mathbb{E}(X|I=1) - \mathbb{E}(X) \right] ,$

що дає:

C o r r (I, X) = \sqrt{\frac{ϕ}{1 - ϕ}} \cdot \frac{E (X | I = 1) - E (X)}{S (X)} .

$\mathbb{Corr}(I,X) = \sqrt{\frac{\phi}{1-\phi}} \cdot \frac{\mathbb{E}(X|I=1) - \mathbb{E}(X)}{\mathbb{S}(X)} .$

Таким чином, кореляція між неперервною випадковою змінною та індикаторною випадковою змінною є досить простою функцією ймовірності показника та стандартизованого посилення очікуваного значення від кондиціонування на . Зауважимо, що ця кореляція не вимагає жодної дискретизації безперервної випадкової величини. $X$ $I$ $\phi$ $X$ $I=1$

Для загального категоріального змінних з діапазоном Ви б просто розширити цю ідею, щоб мати вектор кореляційних значень для кожного результату категоріальної змінної. Для будь-якого результату ми можемо визначити відповідний показник і маємо: $C$ $1, ..., m$ $C=k$ $I_k \equiv \mathbb{I}(C=k)$

C o r r (I_{k}, X) = \sqrt{\frac{ϕ_{k}}{1 - ϕ_{k}}} \cdot \frac{E (X | C = k) - E (X)}{S (X)} .

$\mathbb{Corr}(I_k,X) = \sqrt{\frac{\phi_k}{1-\phi_k}} \cdot \frac{\mathbb{E}(X|C=k) - \mathbb{E}(X)}{\mathbb{S}(X)} .$

$\mathbb{Corr}(C,X) \equiv (\mathbb{Corr}(I_1,X), ..., \mathbb{Corr}(I_m,X))$

$\sum_k \mathbb{Cov}(I_k,X) = 0$ $X$ $m-1$

$(x_1, c_1), ..., (x_n, c_n)$

{\hat{ϕ}}_{к} \equiv \frac{1}{н} \sum_{i = 1}^{н} Я (c_{i} = к) .

$\hat{\phi}_k \equiv \frac{1}{n} \sum_{i=1}^n \mathbb{I}(c_i=k).$

\hat{Е} (Х) \equiv \bar{х} \equiv \frac{1}{н} \sum_{i = 1}^{н} х_{i} .

$\hat{\mathbb{E}}(X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i=1}^n x_i.$

\hat{Е} (Х | С = к) \equiv {\bar{х}}_{к} \equiv \frac{1}{н} \sum_{i = 1}^{н} х_{i} Я (c_{i} = к) / {\hat{ϕ}}_{к} .

$\hat{\mathbb{E}}(X|C=k) \equiv \bar{x}_k \equiv \frac{1}{n} \sum_{i=1}^n x_i \mathbb{I}(c_i=k) \Bigg/ \hat{\phi}_k .$

\hat{S} (Х) \equiv с_{Х} \equiv \sqrt{\frac{1}{н - 1} \sum_{i = 1}^{н} (х_{i} - \bar{х})^{2}} .

$\hat{\mathbb{S}}(X) \equiv s_X \equiv \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2}.$

$X$

— Відновіть Моніку
джерело

0

R пакет mpmi має можливість обчислювати взаємну інформацію для змішаного випадку змінної, а саме безперервного та дискретного. Незважаючи на те, що тут є корисними інші статистичні варіанти, такі як (точковий) коефіцієнт кореляційної кореляції, було б вигідно розраховувати взаємну інформацію, оскільки вона може виявляти асоціації, окрім лінійних та монотонних.

— сііісой
джерело

0

$X$ $Y$ $X$ $Y$

$Y$
$Y$

Слід зазначити, що точково-полісеріальна кореляція - це лише узагальнення точково-бісеріалу.

Для більш широкого огляду, ось таблиця Olsson, Drasgow & Dorans (1982) [1].

[1]: Джерело: Olsson, U., Drasgow, F., & Dorans, NJ (1982). Коефіцієнт полісеріальної кореляції. Психометріка, 47 (3), 337–347

— Вальдір Леонсіо
джерело