Я щойно натрапив на цю статтю , в якій описано, як обчислити повторюваність (він же - надійність, також внутрішньокласова кореляція) вимірювання за допомогою моделювання змішаних ефектів. R-код буде:

#fit the model
fit = lmer(dv~(1|unit),data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
intercept_var = attr(vc$id,'stddev')[1]^2

#compute the unadjusted repeatability
R = intercept_var/(intercept_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit))
    k = nrow(n)
    N = sum(n$Freq)
n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Я вважаю, що цей підхід також може бути використаний для обчислення надійності ефектів (тобто сумарний контрастний ефект змінної з 2 рівнями), як у:

#make sure the effect variable has sum contrasts
contrasts(my_data$iv) = contr.sum

#fit the model
fit = lmer(dv~(iv|unit)+iv,data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
effect_var = attr(vc$id,'stddev')[2]^2

#compute the unadjusted repeatability
R = effect_var/(effect_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit,my_data$iv))
k = nrow(n)
N = sum(n$Freq)
    n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Три питання:

Чи мають сенс вищевказані обчислення для отримання бальної оцінки повторюваності ефекту?
Коли у мене є декілька змінних, повторюваність яких я хочу оцінити, додавання їх у однаковій формі (наприклад lmer(dv~(iv1+iv2|unit)+iv1+iv2), здається, дає більш високі оцінки повторюваності, ніж створення окремої моделі для кожного ефекту. Для мене це має сенс обчислювально, оскільки включення декількох ефектів буде зменшувати залишкову дисперсію, але я не впевнений, що отримані оцінки повторюваності є дійсними. Чи вони?
Вищенаведений документ говорить про те, що ймовірність профілювання може допомогти мені отримати довірчі інтервали для оцінок повторюваності, але, наскільки я можу сказати, confint(profile(fit))передбачає лише інтервали для відхилень перехоплення та ефекту, тоді як мені додатково потрібен інтервал для залишкової дисперсії для обчислення інтервал повторюваності, ні?

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

— Майк Лоуренс
джерело

Я думаю, що можу відповісти на ваші запитання принаймні щодо невідрегульованих оцінок повторюваності, тобто класичних внутрішньокласових кореляцій (МКК). Що стосується "скоригованої" оцінки повторюваності, я проглянув папір, яку ви зв'язали, і не зрозумів, де формула, яку ви застосовуєте, можна знайти в папері? Виходячи з математичного вираження, видається, що це повторюваність середніх балів (а не окремих балів). Але незрозуміло, що це так чи інакше важлива частина вашого питання, тому я його проігнорую.

(1.) Чи мають значення вищезазначені обчислення для отримання точкової оцінки повторюваності ефекту?

Так, вираз, який ви пропонуєте, має сенс, але необхідна незначна зміна запропонованої формули. Нижче я показую, як можна отримати запропонований коефіцієнт повторюваності. Я сподіваюся, що це одночасно роз'яснює концептуальне значення коефіцієнта, а також показує, чому було б бажано його трохи змінити.

Для початку давайте спочатку візьмемо коефіцієнт повторюваності у першому випадку та уточнимо, що це означає і звідки він походить. Розуміння цього допоможе нам зрозуміти складніший другий випадок.

Лише випадкові перехоплення

У цьому випадку змішана модель для ї відповіді в й групі - де випадкові перехоплення мають дисперсію і залишки мають відмінність . $i$ $j$

y_{i j} = β_{0} + u_{0 j} + e_{i j},

$y_{ij} = \beta_0 + u_{0j} + e_{ij},$

u_{0 j}

$u_{0j}$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Тепер співвідношення між двома випадковими змінними і визначається як $x$ $y$

c o r r = \frac{c o v (x, y)}{\sqrt{v a r (x) v a r (y)}} .

$corr = \frac{cov(x, y)}{\sqrt{var(x)var(y)}}.$

Вираз для коефіцієнта ICC / коефіцієнта повторюваності походить від дозволу двох випадкових величин і двома спостереженнями, проведеними з тієї ж групи, і якщо ви спростите це за допомогою наведених вище визначень та властивостей дисперсій / коваріацій (процес, який я тут не показуватиму, якщо ви та інші не віддасте перевагу тому, що я це робив), ви отримаєте $x$ $y$ $j$

I C C = \frac{c o v (β_{0} + u_{0 j} + e_{i_{1} j}, β_{0} + u_{0 j} + e_{i_{2} j})}{\sqrt{v a r (β_{0} + u_{0 j} + e_{i_{1} j}) v a r (β_{0} + u_{0 j} + e_{i_{2} j})}},

$ICC = \frac{cov(\beta_0 + u_{0j} + e_{i_1j}, \beta_0 + u_{0j} + e_{i_2j})}{\sqrt{var(\beta_0 + u_{0j} + e_{i_1j})var(\beta_0 + u_{0j} + e_{i_2j})}},$

I C C = \frac{σ_{u_{0}}^{2}}{σ_{u_{0}}^{2} + σ_{e}^{2}} .

$ICC = \frac{\sigma^2_{u_0}}{\sigma^2_{u_0} + \sigma^2_e}.$ Це означає, що ICC або "коефіцієнт повторної коригуваності" в цьому випадку має просту інтерпретацію як очікувану кореляцію між парними спостереженнями з одного кластеру (за винятком фіксованих ефектів, що в даному випадку є просто великим значенням). Те, що МКК також інтерпретується як частка дисперсії в цьому випадку, є випадковим; що інтерпретація взагалі не відповідає дійсності для більш складних МКК. Інтерпретація як якесь співвідношення є тим, що є первинним.

Випадкові перехоплення та випадкові нахили

Тепер для другого випадку ми повинні спочатку уточнити, що саме мається на увазі під «надійністю ефектів (тобто сумарний контрастний ефект змінної з 2 рівнями)» - ваші слова.

Спочатку викладаємо модель. Змішана модель для ї відповіді в й групі під м рівнем дорівнює де випадкові перехоплення мають дисперсію , випадкові нахили мають дисперсію , випадкові перехоплення та нахили мають коваріацію , а залишки мають дисперсію . $i$ $j$ $k$ $x$

y_{i j k} = β_{0} + β_{1} x_{k} + u_{0 j} + u_{1 j} x_{k} + e_{i j k},

$y_{ijk} = \beta_0 + \beta_1x_k + u_{0j} + u_{1j}x_k + e_{ijk},$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

σ_{u_{1}}^{2}

$\sigma^2_{u_1}$

σ_{u_{01}}

$\sigma_{u_{01}}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Отже, яка «повторюваність ефекту» за цією моделлю? Я думаю, що хорошим визначенням кандидата є те, що це очікуване співвідношення між двома парами балів різниць, обчислених у межах одного кластера , але в різних парах спостережень . $j$ $i$

Таким чином, пара різниць балів, про які йдеться, буде (пам’ятайте, що ми припустили, що контрастується кодуванням, так що ): і $x$ $|x_1|=|x_2|=x$

y_{i_{1} j k_{2}} - y_{i_{1} j k_{1}} = (β_{0} - β_{0}) + β_{1} (x_{k_{2}} - x_{k_{1}}) + (u_{0 j} - u_{0 j}) + u_{1 j} (x_{k_{2}} - x_{k_{1}}) + (e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) = 2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}

$y_{i_1jk_2}-y_{i_1jk_1}=(\beta_0-\beta_0)+\beta_1(x_{k_2}-x_{k_1})+(u_{0j}-u_{0j})+u_{1j}(x_{k_2}-x_{k_1})+(e_{i_1jk_2}-e_{i_1jk_1}) \\=2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}$

y_{i_{2} j k_{2}} - y_{i_{2} j k_{1}} = 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}} .

$y_{i_2jk_2}-y_{i_2jk_1}=2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1}.$

Підключення їх до формули кореляції дає нам що спрощує вниз до Зауважте, що ICC технічно є функцією ! Однак у цьому випадку може приймати лише 2 можливі значення, а ICC однаковий для обох цих значень.

I C C = \frac{c o v (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}, 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}{\sqrt{v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}},

$ICC = \frac{cov(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}, 2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}{\sqrt{var(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1})var(2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}},$

I C C = \frac{2 x^{2} σ_{u_{1}}^{2}}{2 x^{2} σ_{u_{1}}^{2} + σ_{e}^{2}} .

$ICC = \frac{2x^2\sigma^2_{u_1}}{2x^2\sigma^2_{u_1} + \sigma^2_e}.$

x

$x$

x

$x$

Як ви бачите, це дуже схоже на коефіцієнт повторюваності, який ви запропонували у своєму запитанні. Єдина відмінність полягає в тому, що випадкова дисперсія нахилу повинна бути відповідним чином масштабована, якщо вираз слід інтерпретувати як ICC або "невідрегульований коефіцієнт повторюваності". Вираз, який ви написали, працює в спеціальному випадку, коли кодировщик кодується , але не в цілому. $x$ $\pm\frac{1}{\sqrt{2}}$

(2.) Коли у мене є декілька змінних, повторюваність яких я хочу оцінити, додавання їх у однаковій формі (наприклад lmer(dv~(iv1+iv2|unit)+iv1+iv2), здається, дає більш високі оцінки повторюваності, ніж створення окремої моделі для кожного ефекту. Для мене це має сенс обчислювально, оскільки включення декількох ефектів, як правило, зменшить залишкову дисперсію, але я не впевнений, що отримані оцінки повторюваності є дійсними. Чи вони?

Я вважаю, що робота над аналогічною деривацією, представленою вище для моделі з декількома прогнозами з власними випадковими нахилами, показала б, що вищевказаний коефіцієнт повторюваності все-таки буде дійсним, за винятком додаткового ускладнення, яке б зараз бали різниці, які нас концептуально цікавлять. мають дещо інше визначення: а саме нас цікавить очікуване співвідношення відмінностей між скоригованими засобами після контролю за іншими прогнозами в моделі.

Якщо інші предиктори є ортогональними для прогнозованого, що цікавить (як, наприклад, збалансований експеримент), я думаю, що розроблений вище коефіцієнт ICC / повторюваність повинен працювати без будь-яких змін. Якщо вони не є ортогональними, то вам потрібно буде змінити формулу, щоб врахувати це, що може ускладнитися, але, сподіваюся, моя відповідь дала деякі підказки про те, як це може виглядати.

— Джейк Вестфалл
джерело

Ти прав, Джейк. Коригуваний ICC посилається на розділ VII. ЕКСТРАПОЛІЗОВАНА ВІДПОВІДАЛЬНІСТЬ І НАСЛІДНІСТЬ у зв'язаному папері. Автори пишуть Важливо розрізняти повторюваність окремих вимірювань та повторюваність засобів вимірювання $R$ $R_n$ .

— Габра

Обчислювальна повторюваність ефектів від lmer-моделі

Лише випадкові перехоплення

Випадкові перехоплення та випадкові нахили