Чи дозволено використовувати середні показники на наборі даних для поліпшення співвідношення?

У мене є набір даних із залежною та незалежною змінною. Обидва - це не часовий ряд. У мене 120 спостережень. Коефіцієнт кореляції 0,43

Після цього розрахунку я додав стовпчик для обох змінних із середнім значенням на кожні 12 спостережень, у результаті чого з’явилися 2 нові колонки зі 108 спостереженнями (пари). Коефіцієнт кореляції цих стовпців становить 0,77

Здається, я покращив кореляцію таким чином. Чи дозволено це робити? Я збільшив потужність пояснення незалежної змінної за допомогою середніх значень?

Давайте подивимось на два вектори, перший з них

    2 6 2 6 2 6 2 6 2 6 2 6

друге векторне буття

   6 2 6 2 6 2 6 2 6 2 6 2

Розрахунок співвідношення Пірсона ви отримаєте

cor(a,b)
[1] -1

Однак якщо взяти середнє значення послідовних пар для значень, обидва вектори однакові. Ідентичні вектори мають кореляцію 1.

  4 4 4 4 4 4  

Цей простий приклад ілюструє зворотний бік вашого методу.

Редагувати : Для більш повного пояснення: Коефіцієнт кореляції обчислюється наступним чином.

$\frac{E[(X-\mu_X)(Y-\mu_Y)]}{\sigma_X\ \sigma_Y}$

Усереднення деяких s і деяких s змінює відмінності між і , а також різницю між і .$X$$Y$$X$$\mu_X$$Y$$\mu_Y$

Усереднення може бути привабливим або зручним. Це також може бути джерелом обману, в гіршому випадку - обманом, тому ретельно ступайте навіть тоді, коли є чітке обгрунтування усереднення.

Ось така ситуація, що це не дуже гарна ідея. Вважайте, що при ретельному визначенні груп ви (як правило) могли звести ваші дані до двох підсумкових точок, кожна з яких відрізняється від двох змінних; і тоді ви б домоглися ідеального співвідношення з величиною . Вітаємо, чи ні! Поліпшення тут є хибним без поважних незалежних причин для процедури. Вам не потрібно підходити до цього крайнього випадку, щоб підходити до небезпеки.$1$

Є деякі ситуації, в яких усереднення може мати сенс. Наприклад, якщо сезонні коливання представляють незначний або взагалі не представляють інтересу, то усереднення до річних значень створює зменшений набір даних, в якому ви можете зосередитися на цих річних значеннях.

У різних галузях дослідники можуть бути зацікавлені у співвідношенні в зовсім різних масштабах, наприклад, між безробіттям та злочинністю для осіб, графств, штатів, країн (замінити якими б термінами не було сенсу).

Інтерес, а часто також і головне джерело проблем з висновками, полягає в тлумаченні того, що відбувається в різних масштабах або рівнях. Наприклад, висока кореляція між рівнем безробіття та рівнем злочинності у районах не обов'язково означає, що безробітні мають більш високу тенденцію бути злочинцями; вам потрібні дані про осіб, щоб це було зрозуміло. Надання даних може бути максимально незручним, оскільки дані доступні лише в найменш цікавих масштабах, можливо, з економії чи конфіденційності.

Зазначу також, що в першу чергу багато вимірювань часто становлять середні значення за невеликі часові інтервали та / або невеликі проміжки інтервалу, тому дані часто надходять у середньому в будь-якому випадку.