Тест значущості на різницю коефіцієнта кореляції Спірмена

(Дякую велике за швидкі відповіді! Я зробив погану роботу над тим, щоб поставити запитання, тому дозвольте спробувати.)

Я не знаю, як з’ясувати, чи є різниця між двома кореляціями Спірмена статистично достовірною. Я хотів би знати, як це дізнатися.

Причину, яку я хотів з’ясувати, полягає в тому, що в наступній статті: Семантична інтерпретація для обробки природних мов на основі Вікіпедії Габрілович та Маркович ( Journal of Artificial Intelligence Research 34 (2009) 443-498).

У таблиці 2 (стор. 457) автори показують, що їх метод (ESA-Wikipedia) досягає вищої та статистично значущої кореляції Спірмена, ніж інші методи, і я хотів би зробити те саме, щоб показати, що мій метод кращий за попередній методи певної проблеми.

Я не знаю, як вони розраховували статистичну значимість, і я хотів би знати. Автор статті констатував, що співвідношення рангів Спірмена трактується як співвідношення Пірсона. Я не впевнений, чи правильно це зробити. У мене є два співвідношення Спірмена, і я хотів би знати, чи різниця між ними є статистично значущою чи ні.

Мені відомо, що веб-сайти, такі як http://facturing.vassar.edu/lowry/rdiff.html , надають онлайн-калькулятор для отримання різниці між двома кореляціями Пірсона. Я не можу знайти подібний онлайн-калькулятор для різниці між двома співвідношеннями Спірмена.

Рішення за посиланням, яке надав Пітер Флом

ПРИМІТКА. Процедури підтримують лише кореляції Спірмена, що знаходяться нижче 0,6.

Нехай = перетворення Фішера спостерігається кореляції безліч , = Фішер перетворення спостерігається кореляції безлічі . $z_A$ $A$ $z_B$ $B$
$i = 1,\dots,n$ $y_{A_i} = nz_A- (n - 1)z_{A'i}$ $z_{A'i}$ $A$ $(x_i,y_i)$ $z_{A'i}$ $n-1$ $B$
$\bar y_A = \sum y_{A_i}/n$ $B$
$v_{\bar y_A} = \sum (y_{A_i}-\bar y_A)^2 /(n(n-1))$ $\bar y_A$ $B$
$t$

t = \frac{{\bar{y}}_{A} - {\bar{y}}_{B}}{\sqrt{v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}}}}, df = \frac{(v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}})^{2}}{\frac{v_{{\bar{y}}_{A}}^{2}}{n_{A} - 1} + \frac{v_{{\bar{y}}_{B}}^{2}}{n_{B} - 1}}

$t = \frac{\bar y_A - \bar y_B}{\sqrt{v_{\bar y_A} + v_{\bar y_B}}},\quad \text{df}=\frac{(v_{\bar y_A} + v_{\bar y_B})^2}{\frac{v_{\bar y_A}^2}{n_A-1}+\frac{v_{\bar y_B}^2}{n_B-1}}$

n_{A}

$n_A$

n_{B}

$n_B$

A

$A$

B

$B$

Перед першим редагуванням

У мене є людський рейтинг набору (LUMAN-RANKING), набір ранжування, сформований за використовуваним в даний час популярним методом (PRESENT-RANKING), і, нарешті, набір ранжирування, згенерований моїм призначеним методом (MY-RANKING) .

Я підрахував співвідношення Спірмена між ЛЮДИНИМИ РЕКІНДУВАННЯМИ І СУЧАСНІМИ РАБОТИ. Дозвольте мені назвати це: ЛЮДИНА-ПРЕЗЕНТ-СПЕАРМ.

Потім я з'ясував співвідношення Спірмена між ЛЮДИНОЮ І РЕЧЕННЯМ. Дозвольте мені назвати це: ЛЮДИНА-МОЙ-СПЕАРМ.

Як я можу дізнатись, чи є різниця між ЛЮДИНОЮ-МОЄМО-СПЕАРМАНОМ і ЛЮДИНОЮ-ПРЕЗЕНТОМ-СПЕАРМЕНЮ статистично достовірною?

hypothesis-testing statistical-significance spearman-rho

— Патрік Чан
джерело

Ласкаво просимо Патріку. Я борюся з тим же питанням, але з Пірсоном r. Якщо ви перевірите мої записи, ви відчуєте, що можете зробити.

— Адхеш Джош

Хоча у вас можуть виникнути труднощі з формулюванням цього питання в статистичному плані - було б корисно, якби ми знали, що саме вас цікавить. Чи зацікавлена ви в близькості кореляції (наскільки тісно оцінюють показники один одного) або існуванні стосунків більше, ніж випадковість. Зважаючи на те, що, здається, ви оцінили дані, які повторюються в часі, може бути корисним ознайомитися з коефіцієнтами кореляції внутрішньокласового рівня. Сподіваюся, я маю на це право, питання не зовсім зрозуміле.

— rosser

Дякую Аджеш і Розер. Мені шкода за те, що я опитував погано. Я це переписав. Сподіваюся, це стало зрозумілим питанням.

— Патрік Чан

Привіт! Зараз я борюся з тією ж проблемою. Чи є у вас випадково готовий код, який реалізує вашу пропозицію? Крім того, чому це працює лише для значень кореляції нижче 0,6?

— fsociety

У роботі, яку ви цитуєте, пояснюється метод наступними термінами:

[...] ми показуємо статистичну значущість різниці між продуктивністю версії ESA-Wikipedia (26 березня 2006 р.) та програмою інших алгоритмів, використовуючи z-перетворення Фішера (Прес, Теукольський, Веттерлінг, І Фланерія, Числовий Рецепти на З: Мистецтво наукових обчислень . Cambridge University Press, 1997, розділ 14.5).

Я пропоную вам скористатися цим посиланням або переглянути сторінку Вікіпедії на коефіцієнті Спірмена .

— Гільєрмо Г.
джерело

Дякую Гільєрмо. Я підозрював, що вони трактують співвідношення рейтингів Спірмена як співвідношення Пірсона і обчислювали різницю двох кореляцій Пірсона. Однак, мені здається, це не правильний спосіб зробити це, і тому я займаю посаду тут.

— Патрік Чан

Ви, напевно, знаєте про працюючу реалізацію (бажано он-лайн), тому що це те, що відбувається після оперативної роботи?

— chl