Значення середнього коефіцієнта кореляції

Відмова від відповідальності: якщо ви вважаєте, що це питання є занадто схожим на інше, я радий за його об’єднання. Однак я ніде більше не знайшов задовільної відповіді (і ще не маю «репутації» коментувати чи оскаржувати), тому подумав, що найкраще самому задати нове запитання.

Моє запитання таке. Для кожного з 12 суб'єктів людини я обчислював коефіцієнт кореляції (rho Spearman) між 6 рівнями незалежної змінної X та відповідними спостереженнями залежної змінної Y. (Примітка: рівні X не рівні для суб'єктів.) Нульова гіпотеза полягає в тому, що в цілому населення це співвідношення дорівнює нулю. Я перевірив цю гіпотезу двома способами:

Використовуючи однопробний t-тест на коефіцієнти кореляції, отримані від моїх 12 суб'єктів.
По центру мої рівні X і спостереження Y такі, що для кожного учасника, середнє (X) = 0 і середнє (Y) = 0, а потім обчислення кореляції по сукупним даним (72 рівня X і 72 спостереження Y) .

Тепер, читаючи про роботу з коефіцієнтами кореляції (тут і в інших місцях), я почав сумніватися, чи дійсний перший підхід. Зокрема, я бачив таке рівняння, яке спливе в декількох місцях, подане (мабуть) як тест t для середніх коефіцієнтів кореляції:

t = \frac{r}{S E_{r}} = \frac{\sqrt{n - 2}}{\sqrt{1 - r^{2}}}

$t = \frac{r}{SE_{r}} = \frac{\sqrt{n-2}}{\sqrt{1-r^{2}}}$

де буде середнім коефіцієнтом кореляції (і припустимо, що ми отримали це, використовуючи спочатку перетворення Фішера на коефіцієнти на предмет) і кількість спостережень. Інтуїтивно це здається мені неправильним, оскільки воно не включає жодних мір змін між суб'єктами. Іншими словами, якби у мене було 3 коефіцієнти кореляції, я отримав би таку саму t-статистику, чи були вони [0,1, 0,5, 0,9] або [0,45 0,5 0,55], або будь-який діапазон значень з однаковим середнім значенням (і ) $r$ $n$ $n=3$

Тому я підозрюю, що наведене рівняння насправді не застосовується при тестуванні значущості середніх коефіцієнтів кореляції, а при тестуванні значущості одного коефіцієнта кореляції на основі спостережень двох змінних. $n$

Чи може хтось тут, будь ласка, підтвердити цю інтуїцію чи пояснити, чому це неправильно? Крім того, якщо ця формула не стосується мого випадку, хтось знає / правильний підхід? А може, мій власний тест №2 вже дійсний? Будь-яка допомога дуже вдячна (включаючи вказівки на попередні відповіді, які я, можливо, пропустив або неправильно витлумачив).

correlation statistical-significance fisher-transform

— Рубен ван Берген
джерело

Пірсона не чутливий до перетворень в центрі та масштабуванні, тому я вважаю, що центрування не має значення для вашого питання. Наприклад, cor ( ) = cor ( ) = cor ( ) = cor ( ).

r

$r$

X, Y

$X,Y$

X, Y - \bar{Y}

$X,Y-\bar{Y}$

X, Y + 1000

$X,Y+1000$

X, Y \times 1000

$X,Y\times 1000$

— Олексій

Я погоджуюсь з тобою. Тому я інтерпретував центрування як "центрування кожної змінної окремо, перш ніж їх складати".

— Федеріко Тедещі

@FedericoTedeschi Чи не "центрування кожної змінної окремо перед тим, як з'єднати їх", що означає ?

Y - \bar{Y}

$Y-\bar{Y}$

— Олексій

@Alexis Я відповів вам внизу своєї відповіді (це було б занадто довго, щоб написати це в коментарі, і мені також довелося б виправити це кілька разів через проблему WYSINWYG).

— Федеріко Тедещі

Відповіді:

Кращим підходом до аналізу цих даних є використання змішаної моделі (також модель змішаних ефектів, ієрархічна модель) з subjectвипадковим ефектом (випадковий перехоплення або випадковий перехоплення + нахил). Узагальнити іншу мою відповідь:

Це, по суті, регресія, яка моделює єдиний загальний взаємозв'язок, дозволяючи цим відносинам відрізнятися між групами (людськими суб'єктами). Цей підхід виграє від часткового об'єднання та використовує ваші дані більш ефективно.

— mkt - Відновлення Моніки
джерело

-1

Я припускаю, що змінних ( та ) є однаковими для всіх людей (насправді я не впевнений, я розумію, що ви маєте на увазі, говорячи про те, що рівні не рівні для суб'єктів: я сподіваюся, що ви посилаючись на незалежність серед діапазонів змінних, а не про те, які змінні вимірюються для кожної людини). Так, формула, яку ви показали, стосується коефіцієнта кореляції між двома змінними. $12$ $6$ $X$ $6$ $Y$

У пункті 2 ви говорите про нормалізацію: я думаю, це мало б сенс, якби ви зробили це для кожної зі змінних окремо. Однак навіть при цьому проблема такого підходу полягає в тому, що він не контролює внутрішньоособову залежність. $6*2$

Я вважаю, що ваш підхід 1 також не дійсний, тому що це був би тест серед змінних з розподілом з лише градусами свободи, тому я не думаю, що ви можете застосувати теорему центрального граничного значення в цьому випадку. $6$ $t$ $10$

Можливо, при більших числах ви могли б використовувати підхід до випадкових ефектів, що допускає випадковий нахил і одночасно перевіряти як нульовий середній коефіцієнт ( на ), так і відсутність випадкового коефіцієнта. Я вважаю, проте 6 змінних та 12 спостережень недостатньо для цього. $X_i$ $Y_i$

Я пропоную розглянути це як тест на 6 значень (стає 12, якщо ви також враховуєте значення нижче діагоналі) кореляційної матриці серед змінних (і і ), тобто тих, що знаходяться на діагоналі 2-ї (і еквівалентно 3-му) квадрату. Таким чином, я би зробив тест на коефіцієнт вірогідності між обмеженою та необмеженою моделлю. $12$ $X$ $Y$

@ Алексис Я розумію, що центрування , , замінивши їх на матиме сенс (я думаю, це також має сенс розділити їх на їхні ). Таким чином, змінні і (створені з урахуванням так, ніби вони були входженнями унікальної змінної, і те саме для ) мали б усі a означає. Навпаки, якщо ми спочатку побудуємо дві змінні (створені з урахуванням $X_1, \dots, X_6$ $Y_1, \dots, Y_6$ $X_1^*=X_1-\bar{X_1}, \dots, X_6^*=X_6-\bar{X_6}, Y_1^*=Y_1-\bar{Y_1}, \dots, Y_6^*=Y_6-\bar{Y_6}$ $SE$ $X^*$ $Y^*$ $X_i^*, 1 \leq i \leq 6$ $Y_i^*$ $0$ $X, Y$ $X_i, 1 \leq i \leq 6$ як якщо б вони були явищами унікальної змінної, і однакової для ), то, звичайно, віднімання середнього значення (а також ділення на SE на і ) не змінило б речей. $Y_i$ $X$ $Y$

РЕДАКЦІЯ 01.01.18

Нехай зазначу змінну та ( ) окрему особу. Тоді, припустимо, у нас є: $i$ $j$ $1\leq j\leq 12$

$X_{1j}=Y_{1j}=10, \forall j$ ;

$X_{2j}=Y_{2j}=8, \forall j$ ;

$X_{3j}=Y_{3j}=6, \forall j$ ;

$X_{4j}=Y_{4j}=4, \forall j$ ;

$X_{5j}=Y_{5j}=2, \forall j$ ;

$X_{6j}=-Y_{6j}=j, \forall j$ .

Кореляція в цьому випадку повинна становити . $0.5428$

Якщо ми відцентруємо кожну змінну, враховуючи, що для і і не змінюються, ми маємо: . Що стосується , то отримуємо значення (тобто для 's: і навпаки для 's). Оскільки і , отримуємо: , маючи на увазі кореляцію . $1 \leq i \leq 5$ $X_i$ $Y_i$ $X_{ij}^*=Y_{ij}^*=0$ $i=6$ $X_{6j}^*=j-6.5, Y_{j6}^*=(13-j)-6.5=6.5-j$ $X$ $-5.5, -4.5, -3.5, -2.5, -1.5, -0.5, 0.5, 1.5, 2.5, 3.5, 4.5, 5.5$ $Y$ $0=-0$ $j-6.5=-(6.5-j)$ $X_{ij}^*=-Y_{ij}^* \forall i,j \rightarrow X^*=-Y^*$ $-1$

— Федеріко Тедескі
джерело

Я згоден з вами, якщо ми будемо дотримуватися другої процедури. Тому я вважаю, що Рубен ван Берген мав на увазі те, що я описав у першій процедурі. У цьому випадку ми маємо, що: , але не є взагалі вірно. Я редагую свою публікацію, щоб показати зустрічний приклад.

c o r (X_{i}, Y_{i}) = c o r (X_{i}^{*}, Y_{i}^{*}), \forall i

$cor(X_i,Y_i)=cor(X_i^*,Y_i^*), \forall i$

c o r (X, Y) = c o r (X^{*}, Y^{*})

$cor(X,Y)=cor(X^*,Y^*)$

— Федеріко Тедещі

Значення , що дають кореляцію є: ; . Не має значення, чи дійсно співвідношення , оскільки воно явно відрізняється від .

0.5428

$0.5428$

X = 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12

$X=10,10,10,10,10,10,10,10,10,10,10,10,8,8,8,8,8,8,8,8,8,8,8,8,6,6,6,6,6,6,6,6,6,6,6,6,4,4,4,4,4,4,4,4,4,4,4,4,2,2,2,2,2,2,2,2,2,2,2,2,1,2,3,4,5,6,7,8,9,10,11,12$

Y = 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1

$Y=10,10,10,10,10,10,10,10,10,10,10,8,8,8,8,8,8,8,8,8,8,8,8,6,6,6,6,6,6,6,6,6,6,6,6,4,4,4,4,4,4,4,4,4,4,4,4,2,2,2,2,2,2,2,2,2,2,2,2,12,11,10,9,8,7,6,5,4,3,2,1$

0.5428

$0.5428$

- 1

$-1$

— Федеріко Тедещі

Кореляція між і це . Те, що ви говорите, що і призводить до істинно, але це тільки означає, що , це те, про що я вже писав.

X^{*} = 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, - 5.5, - 4.5, - 3.5, - 2.5, - 1.5, - 0.5, 0.5, 1.5, 2.5, 3.5, 4.5, 5.5

$X^*=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,-5.5,-4.5,-3.5,-2.5,-1.5,-0.5,0.5,1.5,2.5,3.5,4.5,5.5$

X^{*} = 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5.5, 4.5, 3.5, 2.5, 1.5, 0.5, - 0.5, - 1.5, - 2.5, - 3.5, - 4.5, - 5.5

$X^*=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,5.5,4.5,3.5,2.5,1.5,0.5,-0.5,-1.5,-2.5,-3.5,-4.5,-5.5$

- 1

$-1$

X = 1, \dots, 12

$X=1,\dots, 12$

Y = 12, \dots, 1

$Y=12, \dots, 1$

c o r (X, Y) = c o r (X^{*}, Y^{*}) = - 1

$cor(X,Y)=cor(X^*,Y^*)=-1$

c o r (X_{i}, Y_{i}) = c o r (X_{i}^{*}, Y_{i}^{*})

$cor(X_i,Y_i)=cor(X^*_i,Y^*_i)$

— Федеріко Тедещі

Звичайно : це наслідок інваріантності кореляції з лінійними перетвореннями. Це те, про що я погодився вже в своєму першому коментарі: "Я згоден з вами. Тому я інтерпретував центрування як" центрування кожної змінної окремо, перш ніж їх складати ". - Федеріко Тедещі 27 грудня 1717 о 10:27

c o r (X; Y) = c o r (X - \bar{X}; Y - \bar{Y})

$cor(X;Y)=cor(X-\bar{X};Y-\bar{Y})$

— Федеріко Тедещі

Можливо, я не розумію, що означає "центрування кожної змінної окремо, перш ніж їх скласти". Для мене означає - "центрування кожного" змінна окремо, перш ніж з'єднувати їх ". Чи можете ви допомогти мені зрозуміти наше уявне інше розуміння?

X - \bar{X}

$X - \bar{X}$

X_{1} - \bar{X}, X_{2} - \bar{X}, \dots, X_{n} - \bar{X}

$X_{1} - \bar{X}, X_{2}-\bar{X},\dots, X_{n}-\bar{X}$

— Олексій