Якщо у мене є багато позитивних, незначних результатів, чи можу я перевірити "принаймні з цих результатів позитивні"?

Скажімо, я провів однакову регресію для 100 різних осіб окремо. Мої коефіцієнти інтересу позитивні (і зовсім відрізняються один від одного), але статистично незначні у всіх 100 результатах (давайте скажемо, кожне p-значення = 0,11).

Чи існує спосіб поєднання цих p-значень, щоб зробити висновок «щонайменше 80 з цих результатів є позитивними» з більшою значимістю, ніж p = 0,11? Мої пошуки в Інтернеті лише показали мені, як сказати «принаймні 1 з цих результатів є позитивним» за допомогою тесту Фішера або подібного тесту, але я не зміг узагальнити цей результат. Я хочу перевірити "H0 = всі 100 ефектів однакові при 0" проти "HA = принаймні 80 ефектів позитивні".

Моя мета не сказати, що в середньому є позитивний коефіцієнт, і конкретно не вимірювати коефіцієнт. Моя мета - продемонструвати, що важливо, щонайменше 80 людей стикалися з деяким позитивним ефектом, незалежно від 80, і незалежно від величини ефекту, що відчувається кожною людиною.

Ви повинні виконати всі 100 аналізів як єдину модель змішаних ефектів із самими вашими коефіцієнтами цікавих випадкових величин. Таким чином, ви можете оцінити розподіл за тими коефіцієнтами, включаючи їх загальну середню величину, яка дасть вам таке тлумачення, як я думаю, ви шукаєте.

Зауваживши, що якщо я підозрюю, у вас є часовий ряд для кожної людини, вам також потрібно буде виправити автокореляцію залишків.

Найпростіше , що потрібно зробити, ймовірно , буде тест знаком. Нульова гіпотеза полягає в тому, що кожен результат має однакову ймовірність бути позитивним чи негативним (наприклад, гортаючи справедливу монету). Ваша мета - визначити, чи спостережувані результати були б малоймовірними за цією нульовою гіпотезою, що ви можете її відхилити.

Яка ймовірність отримати 80 і більше голів із 100 обертів справедливої ​​монети? Ви можете обчислити це за допомогою біноміального розподілу. В R, викликається відповідна функція pbinom, і ви можете отримати (однобічне) p-значення, використовуючи наступний рядок коду:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

Згідно з цим тестом, ваша інтуїція правильна, ви навряд чи випадково отримаєте 80 позитивних результатів, якби лікування не мало ефекту.

Тісно пов'язаним варіантом було б використовувати щось на кшталт тестування з підписанням Вілкоксоном .

Краще підхід, якщо ви на справді хочете , щоб оцінити величину ефекту (а не просто визначити , як правило , є чи може це бути більше нуля чи ні), ймовірно , буде ієрархічна ( «змішаний») модель.

Тут модель говорить про те, що результати ваших 100 осіб походять від розподілу, і ваша мета - побачити, де знаходиться середнє значення для цього розподілу (разом з інтервалами довіри).

Змішані моделі дозволяють вам сказати трохи більше про розміри ефекту: після встановлення моделі ви можете сказати щось на кшталт "ми вважаємо, що наше лікування має тенденцію до покращення результатів в середньому на три одиниці, хоча дані відповідають справжньому середньому розмір ефекту становить від 1,5 до 4,5 одиниць. Також серед осіб є певна різниця, тому дана людина може побачити ефект десь від -0,5 до +6,5 одиниць ".

Це дуже точний і корисний набір тверджень - набагато краще, ніж просто "ефект, мабуть, в середньому позитивний", саме тому такому підходу, як правило, прихильні статистики. Але якщо вам не потрібна вся ця деталь, перший підхід, який я згадав, теж може бути добре.

Можливо, я цілком помиляюся, але мені здається, що ви намагаєтесь зробити повторні заходи ANOVA. Просто визначте цю "манекен" як фактор всередині предмета, а модель зробить все інше. Сама значимість не дуже інформативна; це потрібно, але недостатньо; будь-яка модель отримала б вагоме значення при досить великій кількості спостережень. ви можете отримати розмір ефектів, як (частковий) Eta-Squared, щоб зрозуміти, наскільки "великий" ваш ефект. Мої 2 копійки.

Це може бути таким же простим, як звичайний розрахунок ANCOVA, але відповідний спосіб аналізу ваших даних залежатиме від фізичної ситуації, і ви не надали ці дані.