Підручники / читання про те, що робити, коли не вдається створити ідеальний експеримент?

Моя статистична підготовка пов'язана з математичною статистикою, і прийняття цих методів на уроках в моєму РС на даний момент трохи шокує; На даний момент мені важко зрозуміти деякі з цих "прикладних" методів, оскільки мені не вистачає досвіду в галузі.

Однією з тем, про яку ми говорили на уроках моїх методів, є ідея експериментального проектування.

Скажімо, наприклад, я хочу провести експеримент щодо ефективності в навчальній програмі, яка стверджує, що слід оцінити результати тестування учнів К-12.

На заняттях з методів вони навчили наступного вирішення такої проблеми: переконайтеся, що у вас є хороший дослідницький питання, хороший метод збору даних, рандомізований експеримент, гомогенні групи лікування (тобто одна, яка лікується цією програмою, одна, можливо, не) в ідеалі однакового розміру, а потім виконати -test (або якийсь тест на непараметричну гіпотезу), і все це добре і денді, правда?$t$

Я мало вірю, що саме так це реально працює.

Я дізнався, що, звичайно, вам доведеться зробити вибірку зручності. Але крім цього, я не маю уявлення, як реалізувати експериментальний дизайн, окрім того, що я дізнався з підручника.

Чи є підручники, читання тощо, які вивчають ці проблеми на практиці (і в ідеалі не замовчуйте математику - мені не потрібні детальні докази всього, але мені не хочеться, щоб мені сказали, що все є " очевидно, "наприклад)?

Є два напрямки, де рандомізовані експерименти майже завжди неможливі: це соціальні науки та економіка. У цих випадках ви можете робити лише «квазі-експерименти». Спробуйте шукати за ключовими словами квазі експерименти, спостережні дослідження та соціальні науки ; ви отримаєте кілька хороших підручників з текстами. Я можу порекомендувати дві чудові книги на цю тему: друга книга Шадіша і Кука - це класика:

1. Контрфактичні та причинно-наслідкові умовиводи: методи та принципи соціальних досліджень Морганом та Вінссіпом
2. Експериментальні та квазіекспериментальні конструкції для узагальненого причинного висновку Вільяма Р. Шадіша та Томаса Д. Кука

Класичний документ, який використовує методику, яка називається "оцінка відповідності схильності" в не експериментальній обстановці для причинного висновку Дехеджіа і Вахби, також рекомендується.

Додаткові рекомендації:

1. Дизайн обсерваційних досліджень Пол Р. Розенбаум.
2. Причинний висновок для статистики, соціальних та біомедичних наук: вступ Імбенса та Рубіна.

Якщо ви дивитесь квазі експерименти часових рядів, у вищезазначених книгах є деякі розділи, присвячені їм, але спеціальна книга - Джийн проти проектування скла та аналіз експериментів часових рядів, і я перевірив би його статтю Перерваний часовий ряд .

Дрібниці: Gene V Glass придумав термін " Метааналіз ".

Саме тут можуть бути корисні квазіекспериментальні конструкції. У багатьох ситуаціях на практиці експериментальні розробки не практичні, оскільки, хоча ви маєте лікування, ви не в змозі виконати випадкове призначення групам або, можливо, у вас є лише одна група.

На прикладі навчання ви, можливо, не маєте контролю над тим, хто отримує лікування, оскільки ви маєте намір здійснити втручання для всіх дітей в одній школі. Однак ви, можливо, зможете порівняти їхні бали з балами попередніх років, або рандомізувати аудиторії, щоб деякі класи отримували втручання раніше інших, або порівнювали кілька шкіл, у тому числі тих, які не отримали втручання.

Можливо, має сенс робити перерваний дизайн часових рядів, коли у вас є лише одна група, але постійно проводити вимірювання та проводити лікування в середині тривалості дослідження. Таким чином, ви можете побачити, чи змінився нахил залежної змінної з часом відразу після обробки відносно загального нахилу протягом усього дослідження. Кількість вимірювань може бути якнайменше 3, але чим більше, тим краще.

Отже, моя пропозиція полягає в тому, щоб прочитати на квазіекспериментальних проектах дослідження.

Найбільш ретельне, загальне та точне трактування причинності - це Джудея Перл, 2009, «Причинність», 2-е видання, Кембриджський університетський прес.

Тим більше, це дає зрозуміти, що причинність насправді не є статистичною проблемою - навіть необмежені дані не вирішують її. Він вводить точну мову, щоб висловити якісні та теоретичні знання, необхідні для причинного висновку, коли щось про дані є неоптимальним. Ви побачите, що невдала рандомізація - лише одне питання серед багатьох. Він також включає всі інші математичні рамки, наприклад, Імбенс, Рубін та Розенбаум. Я не можу перебільшувати, наскільки доступним, елегантним і потужним є його підхід.

Я настійно рекомендую. Однак ви повинні читати це нелінійним способом (глави 5 та 11 є більш доступними, і тоді ви можете працювати назад через глави 1, 3 та 7 для розуміння загальної теорії).

Коли ви зрозумієте основи, ви можете легко вивчити новітні досягнення, наприклад, коли можна "транспортувати" причинно-наслідкові висновки з одного контексту в інший, що необов'язково можливо навіть при рандомізації (Перл, Юдея та Еліас Bareinboim 2014, "Зовнішня обґрунтованість: від перерахунку до перевезення для населення". Статистична наука).

Можливо, це те, що ви шукаєте ...

Статистика для експериментаторів

Розробка та аналіз експериментів

Розробка та аналіз експериментів з R (не пов'язане з попередньою назвою)

Удосконалення процесів за допомогою даних (безкоштовно в Інтернеті або як PDF, глава 5 охоплює DoE)