Яку реалізацію тесту перестановки використовувати в R замість t-тестів (парних та непарних)?

У мене є дані експерименту, які я аналізував, використовуючи t-тести. Залежна змінна масштабується за інтервалом, і дані є непарними (тобто, 2 групи) або парними (тобто, в межах суб'єктів). Напр. (В межах предметів):

x1 <- c(99, 99.5, 65, 100, 99, 99.5, 99, 99.5, 99.5, 57, 100, 99.5, 
        99.5, 99, 99, 99.5, 89.5, 99.5, 100, 99.5)
y1 <- c(99, 99.5, 99.5, 0, 50, 100, 99.5, 99.5, 0, 99.5, 99.5, 90, 
        80, 0, 99, 0, 74.5, 0, 100, 49.5)

Однак дані не є нормальними, тому один рецензент попросив нас використовувати щось інше, ніж t-тест. Однак, як легко можна побачити, дані не лише нормально розподіляються, але і розподіли не рівні між умовами:

Тому звичайні непараметричні тести, Ман-Вітні-U-тест (непарний) та тест Вілкоксона (парні), не можуть бути використані, оскільки вони вимагають рівного розподілу між умовами. Отже, я вирішив, що найкращим є тест на перестановку чи перестановку.

Тепер я шукаю R-реалізацію еквівалента, заснованого на перестановці t-тесту, або будь-яку іншу пораду, що робити з даними.

Я знаю, що є деякі R-пакети, які можуть зробити це для мене (наприклад, монета, perm, точноRankTest тощо), але я не знаю, який вибрати. Отже, якщо хтось із певним досвідом використання цих тестів міг би дати мені початок, це було б ubercool.

ОНОВЛЕННЯ: Було б ідеально, якби ви могли надати приклад того, як повідомити результати цього тесту.

Це не має значення, оскільки статистика тесту завжди буде різницею в засобах (або щось еквівалентне). Невеликі відмінності можуть виникнути від впровадження методів Монте-Карло. Спробуйте три пакети з вашими даними однобічним тестом для двох незалежних змінних:

DV <- c(x1, y1)
IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
library(coin)                    # for oneway_test(), pvalue()
pvalue(oneway_test(DV ~ IV, alternative="greater", 
                   distribution=approximate(B=9999)))
[1] 0.00330033

library(perm)                    # for permTS()
permTS(DV ~ IV, alternative="greater", method="exact.mc", 
       control=permControl(nmc=10^4-1))$p.value
[1] 0.003

library(exactRankTests)          # for perm.test()
perm.test(DV ~ IV, paired=FALSE, alternative="greater", exact=TRUE)$p.value
[1] 0.003171822

Щоб перевірити точне значення p за допомогою ручного обчислення всіх перестановок, я обмежу дані першими 9 значеннями.

x1 <- x1[1:9]
y1 <- y1[1:9]
DV <- c(x1, y1)
IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
pvalue(oneway_test(DV ~ IV, alternative="greater", distribution="exact"))
[1] 0.0945907

permTS(DV ~ IV, alternative="greater", exact=TRUE)$p.value
[1] 0.0945907

# perm.test() gives different result due to rounding of input values
perm.test(DV ~ IV, paired=FALSE, alternative="greater", exact=TRUE)$p.value
[1] 0.1029412

# manual exact permutation test
idx  <- seq(along=DV)                 # indices to permute
idxA <- combn(idx, length(x1))        # all possibilities for different groups

# function to calculate difference in group means given index vector for group A
getDiffM <- function(x) { mean(DV[x]) - mean(DV[!(idx %in% x)]) }
resDM    <- apply(idxA, 2, getDiffM)  # difference in means for all permutations
diffM    <- mean(x1) - mean(y1)       # empirical differencen in group means

# p-value: proportion of group means at least as extreme as observed one
(pVal <- sum(resDM >= diffM) / length(resDM))
[1] 0.0945907

coinі exactRankTestsобидва є одним і тим же автором, але coinздається більш загальним і обширним - також з точки зору документації. exactRankTestsбільше не активно розвивається. Тому я б обрав coin(також через такі інформативні функції support()), якщо ви не любите мати справу з об'єктами S4.

EDIT: для двох залежних змінних синтаксис є

id <- factor(rep(1:length(x1), 2))    # factor for participant
pvalue(oneway_test(DV ~ IV | id, alternative="greater",
                   distribution=approximate(B=9999)))
[1] 0.00810081

Кілька коментарів, я вважаю, в порядку.

1) Я б закликав вас спробувати декілька візуальних показів ваших даних, оскільки вони можуть фіксувати речі, втрачені гістограмами (як графіки), а також я настійно рекомендую розміщувати зображення на осях. У цьому випадку я не вірю, що гістограми дуже добре справляються із передачею важливих особливостей ваших даних. Наприклад, погляньте на боксові бокси:

boxplot(x1, y1, names = c("x1", "y1"))

Або навіть бічні смужки:

stripchart(c(x1,y1) ~ rep(1:2, each = 20), method = "jitter", group.names = c("x1","y1"), xlab = "")

Подивіться на центри, розвороти та форми цих! Приблизно три чверті даних падають набагато вище медіани даних . Розкид невеликий, тоді як розкид величезний. І і є сильнокосими, але по-різному. Наприклад, має п'ять (!) Повторених значень нуля.y 1 x 1 y 1 x 1 y 1 y $x1$$y1$$x1$$y1$$x1$$y1$$y1$

2) Ви не пояснили дуже детально, звідки беруться ваші дані, і як їх вимірювали, але ця інформація дуже важлива, коли настає час вибору статистичної процедури. Чи є ваші два зразки вище незалежними? Чи є підстави вважати, що граничні розподіли двох зразків повинні бути однаковими (крім, наприклад, різниці в розташуванні)? Які міркування перед дослідженням змусили вас шукати докази різниці між двома групами?

3) Тест t не підходить для цих даних, оскільки граничні розподіли помітно ненормальні, з екстремальними значеннями в обох вибірках. Якщо вам подобається, ви можете звернутися до CLT (завдяки вашому зразку середнього розміру), щоб використовувати -test (що було б подібним до z-тесту для великих зразків), але з огляду на хиткість (в обох змінних) за вашими даними, я б не вважав таке звернення дуже переконливим. Звичайно, ви можете скористатися ним у будь-якому випадку для обчислення значення значення, але що це робить для вас? Якщо припущення не задовольняються, то -значення - лише статистика; це не говорить про те, що ви (мабуть) хочете знати: чи є докази того, що два зразки походять з різних розподілів.p $z$$p$$p$

4) Тест на перестановку також буде недоцільним для цих даних. Єдине і часто недооцінене припущення для тестів на перестановку полягає в тому, що обидва зразки можна обміняти під нульовою гіпотезою. Це означало б, що вони мають однакові граничні розподіли (під нуль). Але ви в біді, тому що графіки припускають, що розподіли відрізняються і за місцем розташування, і за масштабом (і за формою). Таким чином, ви не можете (дійсно) перевірити на різницю в розташуванні, оскільки масштаби різні, і ви не можете (дійсно) перевірити на різницю в масштабі, оскільки місця розташування різні. На жаль Знову ж таки, ви можете зробити тест у будь-якому випадку і отримати -значення, але що робити? Що ви насправді здійснили?$p$

5) На мій погляд, ці дані є ідеальним (?) Прикладом того, що вдало обрана картина коштує 1000 тестів гіпотези. Нам не потрібна статистика, щоб визначити різницю між олівцем і коморою. Відповідним твердженням, на мою думку, для цих даних було б "Ці дані виявляють помітні відмінності щодо місця розташування, масштабу та форми". Ви можете скористатися (надійною) описовою статистикою для кожного з них, щоб кількісно визначити відмінності та пояснити, що означають відмінності в контексті вашого початкового дослідження.

6) Ваш рецензент, ймовірно (і , до жаль) наполягатиме на якому - то -значення в якості попередньої умови для публікації. Зітхніть! Якби це я, враховуючи відмінності щодо всього, я б, ймовірно, використовував непараметричний тест Колмогорова-Смірнова, щоб виплюнути -значення, яке демонструє, що розподіли різні, а потім продовжувати описову статистику, як описано вище. Вам потрібно буде додати трохи шуму до двох зразків, щоб позбутися зв’язків. (І звичайно, все це передбачає, що ваші зразки є незалежними, про які ви не вказали прямо.)$p$$p$

Ця відповідь набагато довша, ніж я спочатку задумував. Вибач за те.

Мої коментарі стосуються не впровадження тесту на перестановку, а щодо більш загальних питань, порушених цими даними, та їх обговорення, зокрема публікації Дж. Джея Кернса.

Два розподіли насправді виглядають досить схожими на мене ВІДКЛЮЧНО для групи 0 в Y1, які сильно відрізняються від інших спостережень у цьому зразку (наступний найменший - приблизно 50 за шкалою 0-100), а також усіх, що знаходяться в X1. Я б спершу дослідив, чи було щось інше в цих спостереженнях.

По-друге, якщо припустити, що ці 0 належать до аналізу, кажучи, що тест перестановки не є дійсним, оскільки розподіли, схоже, відрізняються, викликає питання. Якщо нуль був істинним (розподіли ідентичні), чи могли б ви (з розумною ймовірністю) отримати розподіли виглядати так само різними, як ці два? Відповідь, у чому вся суть тесту, чи не так? Можливо, у цьому випадку хтось вважатиме відповідь очевидною, не запускаючи тест, але з цими дрібними, своєрідними розподілами я не думаю, що хотів би.

Оскільки це запитання з’явилося знову, я можу додати ще одну відповідь, натхненну недавньою публікацією в блозі через R-Bloggers від Роберта Кабакоффа, автора програми Quick-R і R в дії, що використовує lmPermпакет.

Однак цей метод дає різко контрастні (і дуже нестабільні) результати до результатів, отриманих coinпакетом у відповіді @caracakl (р-значення аналізу в рамках суб'єктів 0.008). Аналіз бере також підготовку даних з відповіді @ caracal:

x1 <- c(99, 99.5, 65, 100, 99, 99.5, 99, 99.5, 99.5, 57, 100, 99.5, 
        99.5, 99, 99, 99.5, 89.5, 99.5, 100, 99.5)
y1 <- c(99, 99.5, 99.5, 0, 50, 100, 99.5, 99.5, 0, 99.5, 99.5, 90, 
        80, 0, 99, 0, 74.5, 0, 100, 49.5)

DV <- c(x1, y1)
IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
id <- factor(rep(1:length(x1), 2)) 

library(lmPerm)

summary(aovp( DV ~ IV + Error(id)))

виробляє:

> summary(aovp( DV ~ IV + Error(id)))
[1] "Settings:  unique SS "

Error: id
Component 1 :
          Df R Sum Sq R Mean Sq
Residuals 19    15946       839


Error: Within
Component 1 :
          Df R Sum Sq R Mean Sq Iter Pr(Prob)  
IV         1     7924      7924 1004    0.091 .
Residuals 19    21124      1112                
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Якщо це запустити кілька разів, значення p перестрибує між ~ .05 та ~ .1.

Хоча це відповідь на запитання, дозвольте мені поставити питання в кінці (я можу перенести це питання на нове запитання за бажанням):
Будь-які ідеї того, чому цей аналіз настільки нестабільний і чи призводять до настільки відмінних p-значень аналіз монети? Я щось не так зробив?

Це пропорції балів? Якщо так, то, звичайно, не слід використовувати гауссова параметрична перевірка, і, хоча ви можете продовжувати такий непараметричний підхід, як тест перестановки або завантажувальний засіб, я б запропонував вам отримати більше статистичної потужності за допомогою використовуючи відповідний не гауссовий параметричний підхід. Зокрема, щоразу, коли ви можете обчислити міру пропорції в одиниці, що цікавить (наприклад, учасник експерименту), ви можете і, ймовірно, повинні використовувати модель змішаних ефектів, яка визначає спостереження з біноміально розподіленою помилкою. Див. Dixon 2004 .

Просто додати ще один підхід, ezPermв ezупаковці:

> # preparing the data
> DV <- c(x1, y1)
> IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
> id <- factor(rep(1:length(x1), 2))
> df <- data.frame(id=id,DV=DV,IV=IV)
>
> library(ez)
> ezPerm( data = df, dv = DV, wid = id, within = IV, perms = 1000)
|=========================|100%              Completed after 17 s 
  Effect     p p<.05
1     IV 0.016     *

Це , як видається, відповідає до oneway_testв coinупаковці:

> library(coin)
> pvalue(oneway_test(DV ~ IV | id,  distribution=approximate(B=999999)))
[1] 0.01608002
99 percent confidence interval:
 0.01575782 0.01640682

Однак зауважте, що це не той самий приклад, який надає @caracal . У своєму прикладі, він включає в себе alternative="greater", тому різниця в р-значний ~0.008проти ~0.016.

aovpПакет пропонується в один з відповідей виробляють підозріло низький р-значення, і працює підозріло швидко , навіть коли я намагаюся високими значеннями для Iter, Caі maxIterаргументів:

library(lmPerm)
summary(aovp(DV ~ IV + Error(id/IV), data=df,  maxIter = 1000000000))
summary(aovp(DV ~ IV + Error(id/IV), data=df,  Iter = 1000000000))
summary(aovp(DV ~ IV + Error(id/IV), data=df,  Ca = 0.00000000001))

Зважаючи на це, аргументи, здається, трохи зменшують відхилення значень p від ~.03і ~.1(я отримав більший діапазон, ніж повідомляється @Henrik), до 0.03та 0.07.