Чому б усі тести на нормальність відкидали нульову гіпотезу?

Тест Колгоморова-Смірнова, тест Шапіро та ін .... всі відкидають гіпотезу про те, що розподіл є нормальним. Але коли я будую нормальні кванти та гістограми, дані явно нормальні. Може тому, що потужність тестів висока?

Розмір вибірки становить близько 650. Чи не повинен хоча б один із цих тестів не відкинути нульову гіпотезу?

Результати:

           Kolmogorov-Smirnov    D          0.05031          Pr > D       <0.010
           Cramer-von Mises      W-Sq       0.30003          Pr > W-Sq    <0.005
           Anderson-Darling      A-Sq       1.66965          Pr > A-Sq    <0.005
           Chi-Square            Chi-Sq  3250.43596     18   Pr > Chi-Sq  <0.001

Тестування на нормальність - це марна трата часу, і ваш приклад пояснює, чому. Що стосується невеликих вибірок, тест на нормальність має низьку потужність, тому рішення про те, які статистичні моделі використовувати, повинні базуватися на апріорних знаннях. У цих випадках відмова відхилення нуля не доводить, що нульовий рівень навіть приблизно відповідає рівню населення.

Коли у вас є великі зразки, тести на нормальність стають смішно потужними, але вони не повідомляють вам нічого, чого ви вже не знали. Жодна реальна кількість точно не розподіляється. Нормальний розподіл - це лише математична абстракція, що є досить хорошим наближенням у багатьох випадках. Найпростішим доказом цього є те, що немає реальної кількості (принаймні такої, яку я можу придумати), яка могла б прийняти будь-яке реальне число як своє значення. Наприклад, у Всесвіті існує лише стільки молекул. У грошовій масі лише стільки доларів. Швидкість світла кінцева. Комп'ютери можуть зберігати лише номери обмеженого розміру, тому навіть якщо б у вас була підтримка всіх реальних цифр, ви не змогли б її виміряти.

Справа в тому , що ви вже знали , ваші дані не зовсім нормально розподілені , але тести нормальності не скажу вам нічого про те , як ненормальні дані. Вони не дають вам абсолютно ніякої підказки щодо того, чи ваші дані приблизно нормально розподіляються таким чином, що методи статистичного висновку, які передбачають нормальність, давали б правильні відповіді. Як не дивно, загальні тести (наприклад, Т-тест та ANOVA), які передбачають нормальність, є більш стійкими до ненормальності при великих розмірах вибірки.

Це мене не дивує --- при досить великому розмірі вибірки, будь-який хороший тест повинен відкинути нульову гіпотезу, якщо тільки розподіл даних, що генерують дані, є справді (і точно) нормальним.

Під час тестування гіпотез зазвичай зацікавлений знайти «потужний» тест, який є тестом, який може знайти дуже невеликі відхилення від нульової гіпотези, маючи якомога менше даних.

Спробуйте запустити тест з підпробою розміру 20, 50, 100, 200 і подивіться, якого розміру тести починають відкидати. Неважко зрозуміти, чи є гістограма симетричною і взагалі дзвінкоподібною, але хвости розподілу важче оцінити оком. Можливо, в даних є люди, які викликають відхилення тестів? Якщо є, подивіться, що станеться, коли ви їх обріжете.

Ймовірною причиною є те, що ваші дані дуже незначні, а розмір вибірки є досить великим, щоб виявити це.

Якщо розподіл справді нормальний, зазвичай він повинен пройти ці тести, як у наступному прикладі R, коли всі, крім одного тесту, здані.

> require(nortest)
> 
> set.seed(1)
> dat <- rnorm(650,mean=100, sd=5)
> 
> ad.test(dat)

        Anderson-Darling normality test

data:  dat 
A = 0.439, p-value = 0.2924

> cvm.test(dat)

        Cramer-von Mises normality test

data:  dat 
W = 0.0882, p-value = 0.1619

> lillie.test(dat)

        Lilliefors (Kolmogorov-Smirnov) normality test

data:  dat 
D = 0.0334, p-value = 0.08196

> pearson.test(dat)

        Pearson chi-square normality test

data:  dat 
P = 37.96, p-value = 0.035

> sf.test(dat)

        Shapiro-Francia normality test

data:  dat 
W = 0.9978, p-value = 0.5186

> shapiro.test(dat)

        Shapiro-Wilk normality test

data:  dat 
W = 0.9981, p-value = 0.675

Можливо, ви захочете зробити qqplot, і якщо він достатньо близький до прямої, то ви можете вирішити сприймати його як достатньо близький до нормальності для своїх цілей. Це швидше залежить від того, які ці цілі.

Дозвольте мені не погодитись з відповіддю від dimimcha: "Тестування на нормальність - це марна трата часу, і ваш приклад ілюструє, чому". Тестування на нормальність - це ніколи не марна трата часу, ви завжди можете вчитися на своїх даних. Крім того, є деякі умови, які ви повинні перевірити, перш ніж проводити аналіз (наприклад, ANOVA, регресія тощо). Відносно великі розміри вибірки краще перевірити за допомогою сюжету (QQplot, гістограма). У таких випадках візуалізація дає набагато більше інформації про багатомодальну поведінку тощо.

ANOVA та регресія є стійкими до ненормальності при роботі з великими розмірами вибірки, але основним типом даних, які викликають проблеми, є мультимодальні вибірки даних.

З невеликим розміром зразка тест Колгоморова-Смірнова є найкращим варіантом, головним чином завдяки його чутливості.

Я трохи не погоджуюся з іншими відповідями, розміщеними до цих пір: ці тести на нормальність мають, як відомо, мало потужності, навіть при порівняно великих розмірах вибірки, принаймні, для певних видів відхилень.

Ось короткий приклад. Я створив суміш двох нормалей, засоби яких розділені цілим sd.

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(c(rnorm(325, mean = 0), rnorm(325, mean = 1)))$p.value
)
mean(reps < .05)
[1] 0.0525

Враховуючи, що це «виявить» відхилення від нормальності 5% часу, навіть якщо це було б справді нормально, це не дуже вражає.

Ось ще один приклад: я додаю рівномірний шум у діапазоні розміром з два стандартних відхилення. Цей досить видимо ненормальний.

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(rnorm(650) + 2 * runif(650))$p.value
)
mean(reps < .05)
[1] 0.0523

Знову ж таки, надзвичайно низька потужність для досить великого відходу від нормальності.

Ви впевнені, що читаєте qqplot правильно? Чи можете ви завантажити його, щоб ми могли бачити його?

Редагування з іншого боку, регрес досить стійкий до ненормальності, тому я згоден , що візуальний огляд, ймовірно, буде досить для більшості цілей.