Пірсонова кореляція наборів даних з можливо нульовим стандартним відхиленням?

У мене виникають проблеми з обчисленням коефіцієнта кореляції грушевих наборів даних з можливо нульовим стандартним відхиленням (тобто всі дані мають однакове значення).

Припустимо, у мене є такі два набори даних:

float x[] = {2, 2, 2, 3, 2};
float y[] = {2, 2, 2, 2, 2};

Коефіцієнт кореляції "r" обчислюється за допомогою наступного рівняння:

float r = covariance(x, y) / (std_dev(x) * std_dev(y));

Однак, оскільки всі дані в наборі даних "y" мають однакове значення, стандартне відхилення std_dev (y) буде нульовим, а "r" буде невизначеним.

Чи є рішення цієї проблеми? Або я повинен використовувати інші методи для вимірювання взаємозв'язку даних у цьому випадку?

Люди "теорії вибірки" скажуть вам, що такої оцінки не існує. Але ви можете отримати її, вам просто потрібно бути розумним щодо вашої попередньої інформації та робити набагато складніше математичну роботу.

Якщо ви вказали байєсівський метод оцінки, а задній такий же, як і попередній, то ви можете сказати, що дані нічого не говорять про параметр. Оскільки речі можуть на нас набути "сингулярності", ми не можемо використовувати нескінченні проміжки параметрів. Я припускаю, що через те, що ви використовуєте кореляцію Пірсона, у вас є двозначна нормальна ймовірність:

$$p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)=\left(\sigma_x\sigma_y\sqrt{2\pi(1-\rho^2)}\right)^{-N}exp\left(-\frac{\sum_{i}Q_i}{2(1-\rho^2)}\right)$$ $$Q_i=\frac{(x_i-\mu_x)^2}{\sigma_x^2}+\frac{(y_i-\mu_y)^2}{\sigma_y^2}-2\rho\frac{(x_i-\mu_x)(y_i-\mu_y)}{\sigma_x\sigma_y}$$

$y_i=y$

$$\sum_{i}Q_i=N\left[\frac{(y-\mu_y)^2}{\sigma_y^2}+\frac{s_x^2 + (\overline{x}-\mu_x)^2}{\sigma_x^2}-2\rho\frac{(\overline{x}-\mu_x)(y-\mu_y)}{\sigma_x\sigma_y}\right]$$ $$s_x^2=\frac{1}{N}\sum_{i}(x_i-\overline{x})^2$$

$s_x^2,y,\overline{x},N$$\rho$$\mu_x,\mu_y,\sigma_x,\sigma_y$

$$\frac{\sum_{i}Q_i}{1-\rho^2}=N\left[\frac{\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{\sigma_y^2(1-\rho^{2})}+\frac{s_x^2}{\sigma_{x}^{2}(1-\rho^{2})} + \frac{(\overline{x}-\mu_x)^2}{\sigma_x^2}\right]$$

$L_{\mu}<\mu_x,\mu_y<U_{\mu}$$L_{\sigma}<\sigma_x,\sigma_y<U_{\sigma}$$\rho$$\pm 1$

$$p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)=\frac{p(\rho)}{A\sigma_x\sigma_y}$$

$A=2(U_{\mu}-L_{\mu})^{2}[log(U_{\sigma})-log(L_{\sigma})]^{2}$

$$p(\rho|D)=\int p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

$$=\frac{p(\rho)}{A[2\pi(1-\rho^2)]^{\frac{N}{2}}}\int_{L_{\sigma}}^{U_{\sigma}}\int_{L_{\sigma}}^{U_{\sigma}}\left(\sigma_x\sigma_y\right)^{-N-1}exp\left(-\frac{N s_x^2}{2\sigma_{x}^{2}(1-\rho^{2})}\right) \times$$ $$\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N(\overline{x}-\mu_x)^2}{2\sigma_x^2}\right)\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{2\sigma_y^2(1-\rho^{2})}\right)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

$\mu_y$$z=\sqrt{N}\frac{\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\sigma_y\sqrt{1-\rho^{2}}}\implies dz=\frac{\sqrt{N}}{\sigma_y\sqrt{1-\rho^{2}}}d\mu_y$$\mu_y$

$$\frac{\sigma_y\sqrt{2\pi(1-\rho^{2})}}{\sqrt{N}}\left[\Phi\left( \frac{U_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)-\Phi\left( \frac{L_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)\right]$$

$\rho$$p(\rho)$$\rho$

$\mu_y$$\rho$$\Phi(.)$$\rho$$-0.99,-0.98,\dots,0.98,0.99$

$gower(v1,v2)=\frac{\sum_{i=1}^{n}\delta(v1_i,v2_i)}{n}$$\delta$$v1,v2$

Наприклад, якщо всі значення рівні, gower (.,.) = 1. Якщо, з іншого боку, вони відрізняються лише одним виміром, gower (.,.) = 0.9. Якщо вони різняться в кожному вимірі, gower (.,.) = 0 і так далі.

Звичайно, це не міра кореляції, але вона дозволяє обчислити, наскільки близький вектор з s> 0 до того, що s = 0. Звичайно, ви можете застосовувати й інші показники, якщо вони краще відповідають вашим цілям.

В цьому випадку кореляція не визначена. Якщо ви повинні визначити його, я визначив би це як 0, але замість цього розглянемо просту середню абсолютну різницю.

Це питання йде від програмістів, тому я б запропонував підключити нуль. Немає доказів кореляції, і нульова гіпотеза була б нульовою (кореляції немає). Можуть бути й інші контекстні знання, які забезпечували б "типове" співвідношення в одному контексті, але код може бути повторно використаний в іншому контексті.