Для тестування є дві загальні моделі. Перший, заснований на припущенні випадкової вибірки у популяції, зазвичай називається "популяційною моделлю".
Наприклад, для t-тесту з двома незалежними зразками ми припускаємо, що дві групи, які ми хочемо порівняти, - це випадкові вибірки з відповідних сукупностей. Припускаючи, що розподіли балів у двох групах зазвичай розподіляються серед сукупності, ми можемо аналітично вивести розподіл вибірки тестової статистики (тобто для t-статистики). Ідея полягає в тому, що якби ми повторили цей процес (випадковим чином намалювавши два зразки з відповідних сукупностей) нескінченну кількість разів (звичайно, ми насправді цього не робимо), ми отримали б цей розподіл вибірки для тестової статистики.
Альтернативною моделлю тестування є «модель рандомізації». Тут нам не доведеться апелювати до випадкового вибірки. Натомість ми отримуємо розподіл рандомізації через перестановки наших зразків.
Наприклад, для t-тесту у вас є два зразки (необов'язково отримані шляхом випадкової вибірки). Тепер, якщо дійсно немає різниці між цими двома групами, то, чи конкретна людина насправді "належить" до 1-ї групи чи 2-ї групи, є довільною. Отже, ми можемо зробити перестановку групового завдання знову і знову, зазначаючи, наскільки далеко знаходяться засоби двох груп. Таким чином, ми отримуємо розподіл вибірки емпірично. Потім ми можемо порівняти, наскільки два засоби розділені в оригінальних зразках (перед тим, як ми розпочали перестановку членства в групі), і якщо ця різниця є "крайньою" (тобто потрапляє в хвости емпірично отриманого відбору вибірки), то робимо висновок що групове членство не є довільним, і дійсно існує різниця між двома групами.
У багатьох ситуаціях два підходи насправді призводять до одного і того ж висновку. Певним чином, підхід, заснований на моделі населення, може розглядатися як наближення до тесту на рандомізацію. Цікаво, що Фішер був тим, хто запропонував модель рандомізації і припустив, що вона повинна бути основою для наших висновків (оскільки більшість зразків не отримуються шляхом випадкової вибірки).
Хороша стаття, що описує різницю між двома підходами:
Ернст, доктор медицини (2004). Методи перестановки: основа для точного умовиводу. Статистична наука, 19 (4), 676-685 (посилання) .
Ще одна стаття, яка дає хороший підсумок і підказує, що підхід рандомізації повинен бути основою для наших висновків:
Ludbrook, J., & Dudley, H. (1998). Чому тести на перестановку перевершують t та F тести в біомедичних дослідженнях. Американський статистик, 52 (2), 127-132 (посилання) .
EDIT: Я також повинен додати, що звичайно підраховувати ту саму статистику тесту при використанні підходу рандомізації, як у моделі населення. Так, наприклад, для тестування різниці в засобах між двома групами можна було б обчислити звичайну t-статистику для всіх можливих перестановок членства в групі (даючи емпірично отриманий розподіл вибірки під нульовою гіпотезою), а потім можна перевірити, наскільки екстремальний t-статистика для початкового членства в групі знаходиться під цим розподілом.