Чому кореляція не дуже корисна, коли одна зі змінних є категоричною?

Це трохи перевірка кишок, будь ласка, допоможіть мені зрозуміти, чи я нерозумію цю концепцію, і яким чином.

У мене є функціональне розуміння кореляції, але я відчуваю трохи розуміння, щоб справді впевнено пояснити принципи цього функціонального розуміння.

Як я розумію, статистична кореляція (на відміну від більш загального використання терміна) - це спосіб зрозуміти дві безперервні змінні та спосіб, яким вони чи не мають тенденції до зростання або падіння аналогічними способами.

Причина, за якою ви не можете запустити кореляції, скажімо, однієї безперервної та однієї категоріальної змінної, полягає в тому, що неможливо обчислити коваріацію між двома, оскільки категоріальна змінна за визначенням не може дати середнього значення і, отже, не може навіть увійти в першу етапи статистичного аналізу.

Це так?

Кореляція - це стандартизована коваріація, тобто коваріація $x$ і $y$ поділена на стандартне відхилення $x$ і $y$ . Дозвольте мені проілюструвати це.

Якщо говорити не просто, статистику можна узагальнити як пристосування моделей до даних та оцінку того, наскільки добре модель описує ці точки даних ( результат = модель + помилка ). Один із способів зробити це - обчислити суми відхилень або залишків (res) від моделі:

$res= \sum(x_{i}-\bar{x})$

На цьому базується багато статистичних розрахунків, в т.ч. коефіцієнт кореляції (див. нижче).

Ось приклад набору даних R(залишки вказані у вигляді червоних ліній, а їх значення додаються поруч):

X <- c(8,9,10,13,15)  
Y <- c(5,4,4,6,8)

Переглядаючи кожну точку даних окремо і віднімаючи її значення від моделі (наприклад, середнє значення; в цьому випадку X=11і Y=5.4), можна було б оцінити точність моделі. Можна сказати, що модель завищувала / занижувала фактичне значення. Однак, підсумовуючи всі відхилення від моделі, загальна помилка, як правило, дорівнює нулю , значення відміняють одне одного, оскільки є позитивні значення (модель недооцінює конкретну точку даних) та негативні значення (модель завищує певні дані бал). Для вирішення цієї задачі суми відхилень мають квадрат і тепер називаються сумами квадратів ( $SS$ ):

$SS = \sum(x_i-\bar{x})(x_i-\bar{x}) = \sum(x_i-\bar{x})^2$

$n-1$$s^2$

$s^2 = \frac{SS}{n-1} = \frac{\sum(x_i-\bar{x})(x_i-\bar{x})}{n-1} = \frac{\sum(x_i-\bar{x})^2}{n-1}$

Для зручності можна взяти квадратний корінь дисперсії вибірки, який відомий як стандартне відхилення вибірки:

$s=\sqrt{s^2}=\sqrt{\frac{SS}{n-1}}=\sqrt{\frac{\sum(x_i-\bar{x})^2}{n-1}}$

Тепер коваріація оцінює, чи пов'язані дві змінні одна з одною. Позитивне значення вказує на те, що одна змінна відхиляється від середньої, інша змінна відхиляється в тому ж напрямку.

$cov_{x,y}= \frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{n-1}$

$r$

$r=\frac{cov_{x,y}}{s_x s_y} = \frac{\sum(x_1-\bar{x})(y_i-\bar{y})}{(n-1) s_x s_y}$

$r=0.87$ , що можна вважати сильним співвідношенням (хоча це також відносно залежно від галузі дослідження). Щоб перевірити це, тут ще одна ділянка з Xна осі x та Yна осі y:

Таким чином, довга історія, так, ваше почуття правильне, але я сподіваюся, що моя відповідь може дати деякий контекст.

Ви (майже) праві. Коваріацію (а отже, і кореляцію) можна обчислити лише між числовими змінними. Це включає безперервні змінні, але також дискретні числові змінні.

Категоричні змінні можуть використовуватися для обчислення кореляції лише з урахуванням корисного для них числового коду, але це, швидше за все, не отримає практичної переваги - можливо, воно може бути корисним для деяких категорійних змінних двох рівнів, але інші інструменти, ймовірно, будуть більш підходящими.

Немає нічого поганого в обчисленні кореляцій, коли одна із змінних є категоричною. Сильне позитивне співвідношення означає, що включення (або вимкнення) вашої категоріальної змінної викликає посилення відповіді. Наприклад, це може статися при обчисленні логістичної регресії, де змінні є категоричними: передбачення ймовірності інфаркту з урахуванням супутніх захворювань пацієнта, таких як діабет та ІМТ. У цьому випадку ІМТ мав би дуже сильну кореляцію з інфарктами. Чи зробите ви висновок, що це не корисно?