Рандомізація невипадкової вибірки

Я завжди трохи здивований, коли бачу психологічні рекламні оголошення щодо участі в експериментальних дослідженнях. Напевно, люди, які відповідають на ці оголошення, не є вибірковою вибіркою і тому є самовибраним населенням.

Оскільки відомо, що рандомізація вирішує задачу самовибору, мені було цікаво, чи випадкова вибірка невипадкової вибірки насправді щось змінила.

Як ти гадаєш ? А також, що ми повинні зробити з усіх цих психологічних експериментів на основі сильно вибраного зразка?

Рандомізація у невипадковому зразку все ще може виявити ефект, не обґрунтовано пояснений випадковими варіаціями.

Наприклад, уявіть, що у нас є популяція з двома нерозпізнаними підгрупами (з дещо різними характеристиками *) приблизно однакового розміру, але ваш зразок є невипадковим, що дає розділення 80/20. Уявімо 2 групи лікування однакового розміру. Рандомізація (принаймні, з пристойними розмірами вибірки) буде, як правило, наближатись до розділення 80/20 у кожній групі, так що ефекти лікування викликані лікуванням, а не неоднаковим розподілом гетерогенних груп для лікування.

* припустимо до різних базових засобів, скажімо

Проблема виникає, коли ви хочете розширити висновок на деяку цільову сукупність, крім того, на що представлений ваш зразок (самовибірники); для цього потрібні припущення / аргумент, для яких у вас може бути ніяких доказів (наприклад, припущення, що, скажімо, відмінності в лікуванні будуть послідовними для всіх підмножин населення).

Для подібної ситуації уявіть тестування препарату на гіпертонію лише на чоловіках, порівняно зі стандартним лікуванням та плацебо. Припустимо, чоловіки належним чином рандомізовані до групи лікування. Ефект лікування буде реальним в тому сенсі, що він дійсно описує ефект у чоловіків. Складність виникне при спробі поширити цей висновок на жінок .

Тож якщо вони будуть належним чином проведені та рандомізовані, крім набору, помітний значний ефект буде тим, що здається, але це стосуватиметься того, що ви насправді взяли на вибірку, а не обов'язково того, що було бажаною метою - перетину розриву між двома вимагають ретельного аргументу; такий аргумент часто відсутній.

Коли я був студентом, то досить часто проводилися експерименти з психології на студентах психології, які, як очікувалося, піти на волю протягом певної кількості годин таких експериментів (це все ще може бути, але я не маю регулярних контактів з психологами хто більше не робить експерименти). Якщо рандомізувати лікування, то висновки можуть бути справедливими (залежно від того, що було зроблено), але вони стосуватимуться місцевого населення самообраних магістрантів із психології (оскільки вони, як правило, обирають, на які експерименти потрібно записатися), які дуже далекі від випадкова вибірка широкої сукупності.

Оскільки відомо, що рандомізація вирішує задачу самовибору, мені було цікаво, чи випадкова вибірка невипадкової вибірки насправді щось змінила.

Словом, ні. Подумайте про це так: у вас є урна зі 100 чорними кулями та 100 білими кулями. Ви пробите 90 чорних кульок і 10 білих куль. Вибірка випадковим чином з цієї підпроби не дозволить вам неупереджено зробити висновок про саму урну.

А також, що ми повинні зробити з усіх цих психологічних експериментів на основі сильно вибраного зразка?

Люди погоджуються, що проблема у випадковому відборі є проблемою. Але скільки проблем - це також питання вашої "теорії" механізму, який вас цікавить. Якщо ваша гіпотеза стосується механізму, який в основному повинен бути однаковим для всіх людей (тобто відчуваєте замерзання при зануренні в крижаний вода), то випадковий вибір не має великого значення. На жаль, це часто не те, що нас цікавить.

Існує методика, розроблена для вирішення проблем, які ви згадуєте, відомих як Bootstrapping. Запуск завантаження - це підхід, при якому ви генеруєте нові синтетичні зразки, витягуючи з вашого фактичного пулу зразків із заміною. Потім ви робите статистику щодо кожного з цих пулів синтетичних зразків і порівнюєте статистику між наборами.

Це має велику перевагу, що дозволяє використовувати у своїй статистиці велику кількість додаткових інструментів, оскільки ці синтетичні зразки походять від відомого розповсюдження. Потім ви можете визначити, наскільки хороші ваші оцінки в роботі з цими синтетичними справами. Якщо ви виявите, що оцінювачі для всіх ваших синтетичних зразків добре збігаються на один і той же результат, припущення завантаження дозволяють зробити висновок про те, що ваші оцінки, застосовуючи до повного зразка, дають хороші оцінки для невідомої сукупності. Якщо, з іншого боку, ви виявили, що ваші оцінювачі дають дуже різні результати від набору синтетичних зразків до набору синтетичних вибірок, то слід зробити висновок, що ваші оцінки, якщо застосовуються до повного зразка, можуть не дати дуже хорошої оцінки для невідомої сукупності.

Цей підхід для завантаження може бути використаний для перевірки того, чи достатня є рандомізація вашого невипадкового зразка. Звичайно, це не може довести, але він був використаний як інструмент для підвищення довіри, подвійна перевірка ваших припущень, що ваша випадкова вибірка є достатньо випадковою.