Чи нормально збільшується розмір вибірки, якщо це апріорно зазначено?

Я збираюся зробити дослідження про достоїнства одного стимулу порівняно з іншим у рамках предмета. У мене є схема перестановки, яка призначена для зменшення ефектів порядку деяких частин дослідження (порядок типу завдання, порядок стимулів, порядок встановлення завдань). Схема перестановки диктує, що розмір вибірки ділиться на 8.

Щоб визначити розмір вибірки, мені доведеться або взяти дивну здогадку (що є доброю традицією в моїй галузі), або обчислити розмір вибірки на бажану силу. Проблема полягає в тому, що я не маю ні найменшого поняття, наскільки великий розмір ефекту я буду спостерігати (також хороша традиція в моїй галузі). Це означає, що розрахунок потужності трохи складний. З іншого боку, здогадка може бути поганою, оскільки я можу або вийти з занадто низьким розміром вибірки, або заплатити занадто багато грошей своїм учасникам і витратив занадто багато часу в лабораторії.

Чи добре заздалегідь констатувати, що я додаю учасників партіями по 8 осіб, поки я не покину коридор з двох p-значень? Наприклад 0,05 <p <0,30? Або як би ви порадили, чи варто продовжувати?

По-перше, безпосередньо відповісти на ваше запитання: ні, ви не можете просто продовжувати, поки не отримаєте значне значення p. Пропонований вами дизайн має рівень помилок типу I вище 5%. Однак основна ідея правильна, за винятком того, що вам доведеться коригувати обрізи. Насправді, як @cardinal згадується в коментарях, існує ціле поле дослідження для вашого питання: вони називаються послідовними, або груповими, або загалом, адаптивними конструкціями (це не ті самі речі, але всі разом рядки вашої ідеї).

Ось довідка, яка демонструє деякі основні ідеї: К. Мехта, П. Гао, Д. Л. Бхатт, Р. А. Харрінгтон, С. Скерянек, JH Ware Optimization Trial Design: Sequences, Adaptive, and Strategies Strategies Circulation. 2009 р .; 119: 597-605

Чи обдумали ви дивитися на потужність у різних розмірах ефектів? Наприклад, я часто обчислюю потужність як криву і закінчую безліччю потенційних сценаріїв, зафіксованих у графіку, де потім можу прийняти вибіркове рішення щодо розміру. Наприклад, я можу обчислити необхідний розмір вибірки для заходів ефекту, що варіюється від дуже близького до нуля до дещо вищого, ніж у моїх найсміливіших мріях цього "пропливе" через експертну оцінку.

Я також можу побудувати інші сценарії, залежно від того, скільки я не знаю про дані. Наприклад, нижче наведено графік, який обчислює потужність, а не розмір вибірки, але має подібну до неї концепцію. Я дуже мало знаю про ці дані, тому я припустив 10% подій для аналізу виживання, а потім обчислював потужність дослідження (розмір вибірки був фіксований) протягом ряду умов:

Можливо, навіть вдасться змінити в цьому випадку кількість подій, які можуть залишити вас або декількома сюжетами, або "Поверхня живлення". Це здається набагато швидшим способом отримати ручку принаймні там, де вам слід шукати розмір зразка, а не змінювати розмір зразка на льоту. Або принаймні дати вам поріг, де ви можете припинити додавати людей. Наприклад, якщо ваші підрахунки говорять вам, що 1000 людей дозволять вам побачити ефект чогось дуже малого - наприклад, коефіцієнт небезпеки 1,01 чи подібне - ви знаєте, що якщо ви потрапите на це, можете припинити спроби додавати людей, оскільки це не проблема живлення, а проблема "там нічого".

Коли я роблю розрахунки потужності, питання, яке я зазвичай задаю (в моїй галузі, яка також має ці традиції), як правило, "Наскільки великий ефект повинен мати для людей, які турбуються?". Якщо ваш метод "значно" кращий із покращенням на 0,1%, хтось потурбується? Як щодо покращення на 0,01%?