У реальному науковому дослідженні досить рідко є дані, які надійшли від справжньої випадкової вибірки. Дані майже завжди є зразками зручності. Це в першу чергу впливає на те, яку кількість населення ви можете узагальнити. Однак, навіть якщо вони були зразком зручності, вони дійшли звідкись, вам просто потрібно зрозуміти, де і які обмеження випливає. Якщо ви дійсно вважаєте, що ваші дані не є репрезентативними для будь-якого, то ваше дослідження не буде корисним на будь-якому рівні, але це, мабуть, не відповідає дійсності 1 . Таким чином, часто розумно вважати ваші зразки взяті звідкись і використовувати ці стандартні тести, принаймні, в захищеному або кваліфікованому сенсі.
Однак існує інша філософія тестування, яка стверджує, що нам слід відходити від тих припущень і тестів, які покладаються на них. Тукі був прихильником цього. Натомість більшість експериментальних досліджень вважається (внутрішньо) достовірним, оскільки досліджувані одиниці (наприклад, пацієнти) були випадковим чином віднесені до зброї. Враховуючи це, ви можете використовувати тести перестановки , які здебільшого лише припускають, що рандомізація була виконана правильно. Контраргументом надто хвилюватися з цього приводу є те, що тести на перестановку, як правило, показують те саме, що і відповідні класичні тести, і їх потрібно виконати більше. Отже, стандартні тести можуть бути прийнятними.
1. Докладніше в цьому напрямку може допомогти прочитати мою відповідь тут: Визначення сукупності та зразків у дослідженні .