Обчислення надійності між рейтингами в R із змінною кількістю оцінок?

Вікіпедія припускає, що одним із способів розглянути надійність між рейтингами є використання моделі випадкових ефектів для обчислення кореляції внутрішньокласового рівня . Приклад внутрішньокласової кореляції говорить про перегляд

від моделі

"де Y _ij - j- ^е спостереження в i- ^й групі, μ - загальне незабезпечене середнє значення, α _i - непомічений випадковий ефект, що ділиться на всі значення групи i, а ε _ij - невиразний шум".

Це приваблива модель, тим більше, що за моїми даними жоден рейтинг не оцінював усі речі (хоча більшість оцінювали 20+), а речі оцінюються різною кількістю разів (зазвичай 3-4).

Питання № 0: Чи "група i" у цьому прикладі ("група i") є групуванням речей?

Питання №1: Якщо я шукаю надійність між рейтингами, чи не потрібна мені модель випадкових ефектів з двома термінами: один для рейтинга та один для рейтингу? Адже обидва мають можливі варіації.

Запитання №2: Як мені найкраще виразити цю модель в R?

Схоже, це питання має гарну пропозицію:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Я переглянув пару питань , і синтаксис "випадкового" параметра для lme непрозорий для мене. Я читаю сторінку довідки для lme , але опис "випадкового" мені незрозумілий без прикладів.

Це питання дещо схожий на довгий список з питань , з цим самим близьким. Однак більшість не звертається до R детально.

Модель, про яку ви посилалися у своєму запитанні, називається "одностороння модель". Він передбачає, що випадкові ефекти рядків є єдиним систематичним джерелом дисперсії. У випадку міжрейтингової надійності рядки відповідають об'єктам вимірювання (наприклад, предметам).

Одностороння модель : де - середнє значення для всіх об'єктів, - ефект рядка, а - залишковий ефект.

$$x_{ij} = \mu + r_i + w_{ij}$$ $\mu$$r_i$$w_{ij}$

Однак існують і "двосторонні моделі". Вони припускають, що існує дисперсія, пов'язана з випадковими ефектами рядків, а також випадковими або фіксованими ефектами стовпців. У випадку міжрейтингової надійності стовпці відповідають джерелам вимірювання (наприклад, рейтинги).

Двосторонні моделі : де є середнім для всіх об'єктів, - ефект рядка, - ефект стовпця, - ефект взаємодії, а - залишковий ефект. Різниця між цими двома моделями полягає у включенні чи виключенні ефекту взаємодії.

$$x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$$ $$x_{ij} = \mu + r_i + c_j + e_{ij}$$ $\mu$$r_i$$c_j$$rc_{ij}$$e_{ij}$

Враховуючи двосторонню модель, ви можете обчислити один з чотирьох коефіцієнтів ICC: єдину оцінку узгодженості ICC (C, 1), середню оцінку узгодженості балів ICC (C, k), єдину бальну угоду ICC (A, 1) або середня оцінка угоди ICC (A, k). ІКС з одиничним балом застосовуються до одиничних вимірювань (наприклад, окремих рейтингів), тоді як середні бали ICC застосовуються до середніх вимірів (наприклад, середнє значення всіх рейтингів). ICC-консистенція виключає відмінність стовпця від дисперсії в знаменнику (наприклад, дозволяючи рейтингам змінюватися залежно від власних засобів), тоді як ICC угоди включає дисперсію стовпця у відмінність знаменника (наприклад, вимагаючи, щоб рейтинги змінювались приблизно в одній і тій же середній величині).$x_{ij}$$\bar{x}_i$

Ось визначення, якщо ви припускаєте ефект випадкового стовпця:

Двосторонні визначення випадкових ефектів ICC (з ефектом взаємодії або без нього) :

$$ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$$ $$ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$$ $$ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$$ $$ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$$

Ви також можете оцінити ці значення, використовуючи середні квадрати ANOVA:

Двосторонні оцінки ICC :

$$ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$$ $$ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$$ $$ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$$ $$ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$$

Ви можете обчислити ці коефіцієнти в R, використовуючи пакет irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Список літератури

McGraw, KO, & Wong, SP (1996). Формування умовиводів про деякі коефіцієнти кореляції внутрішньокласового рівня. Психологічні методи, 1 (1), 30–46.

Shrout, PE, & Fleiss, JL (1979). Внутрішньокласні кореляції: Використання для оцінки надійності рейтингу. Психологічний вісник, 86 (2), 420–428.