Відповідні тести на нормальність для малих зразків

Поки що я використовував статистику Шапіро-Вілка, щоб перевірити припущення щодо нормальності в невеликих зразках.

Чи можете ви порадити іншу техніку?

Пакет fBasics в R (частина Rmetrics ) включає в себе кілька тестів на нормальність , що охоплюють багато популярних тестів частості - Колмогоров-Смірнов, Шапіро-Вілк, Жарк-Бера та Д'Агостіно - разом із обгорткою для тестів на нормальність у найновішому пакеті - Андерсон – Дарлінг, Крамер – фон Мізес, Лілліфорс (Колмогоров-Смірнов), Чи-квадрат Пірсона та Шапіро – Франсія. Документація на упаковку також містить усі важливі посилання. Ось демонстрація, яка показує, як використовувати тести від nortest .

Один із підходів, якщо у вас є час, - це використовувати більше одного тесту і перевірити на погодження. Тести різняться різними способами, тому обрати "найкращого" не зовсім просто. Що використовують інші дослідники у вашій галузі? Це може відрізнятися, і, можливо, найкраще дотримуватися прийнятих методів, щоб інші сприйняли вашу роботу. Я часто використовую тест Жарке-Бера, частково з цієї причини, та Андерсон-Дарлінг для порівняння.

Ви можете подивитися "Порівняння тестів на універсальну нормальність" (Seier 2002) та "Порівняння різних тестів на нормальність" (Yazici; Yolacan 2007) для порівняння та обговорення питань.

Тривіально також перевірити ці методи для порівняння в R, завдяки всім функціям розподілу . Ось простий приклад із імітованими даними (я не роздруковую результати, щоб заощадити місце), хоча потрібна буде більш повна експозиція:

library(fBasics); library(ggplot2)
set.seed(1)

# normal distribution
x1 <- rnorm(1e+06)   
x1.samp <- sample(x1, 200)
qplot(x1.samp, geom="histogram")
jbTest(x1.samp)
adTest(x1.samp)

# cauchy distribution
x2 <- rcauchy(1e+06)
x2.samp <- sample(x2, 200)
qplot(x2.samp, geom="histogram")
jbTest(x2.samp)
adTest(x2.samp)

Коли ви отримаєте результати різних тестів для різних розподілів, ви можете порівняти, які були найбільш ефективними. Наприклад, значення р для тесту Жарке-Бера вище повертало 0,276 для нормального розподілу (приймаючи) та <2,2е-16 для каучучого (відкидаючи нульову гіпотезу).

Для нормальності справжній Шапіро-Вілк має хорошу силу у досить малих зразках.

Основним конкурентом у дослідженнях, які я бачив, є більш загальний Андерсон-Дарлінг, який працює досить добре, але я б не сказав, що це було краще. Якщо ви можете уточнити, які альтернативи вас цікавлять, можливо, краща статистика буде більш очевидною. [редагувати: якщо ви оцінюєте параметри, тест AD повинен бути скоригований для цього.]

[Я настійно не рекомендую розглядати Жарке-Беру невеликими зразками (які, мабуть, більш відомі як Боуман-Шентон у статистичних колах - вони вивчали невеликий розподіл вибірки). Асимптотичний розподіл косоокості та куртозу - це не що інше, як розподіл з невеликим зразком - аналогічно банан не схожий на апельсин. Він також має дуже низьку потужність проти деяких цікавих альтернатив - наприклад, він має низьку потужність для вибору симетричного бімодального розподілу, який має куртоз, близький до нормального розподілу.]

Часто люди перевіряють придатність на те, що виявляється не особливо хорошими причинами, або вони відповідають на питання, відмінне від того, на яке вони насправді хочуть відповісти.

Наприклад, ви майже напевно вже знаєте, що ваші дані насправді не є нормальними (не зовсім), тому немає сенсу намагатися відповісти на питання, на яке ви знаєте відповідь, - і тест гіпотези насправді на нього не відповідає .

Зважаючи на те, що ви знаєте, що ви вже не маєте точної нормальності, ваш гіпотезний тест на нормальність справді дає відповідь на питання, наближене до "чи є мій вибірки достатньо великим, щоб забрати кількість ненормативності, яка у мене є", справжнє запитання, на яке вам цікаво відповісти, як правило, ближче до "який вплив цієї ненормативності на ці інші речі, які мене цікавлять?". Тест гіпотези - це вимірювання розміру вибірки, тоді як питання, яке вам цікаво відповісти, не дуже залежить від розміру вибірки.

Бувають випадки, коли тестування на нормальність має певний сенс, але такі ситуації майже ніколи не трапляються з невеликими зразками.

Чому ви тестуєте нормальність?

Існує ціла категорія Вікіпедії про тести на нормальність, включаючи:

• тест Андерсона-Дарлінга , популярний серед статистиків; і
• тест Харка-Бер , популярний серед економетрики.

Я думаю, що AD є, мабуть, найкращим з них.

Для повноти економетрикам також подобається тест Кіфера і Лосося з їхньої статті 1983 року в «Економічних листах» - він підсумовує «нормалізовані» вирази косості та куртозу, які потім розподіляються в квадраті. У мене є стара версія C ++, яку я писав під час випускної школи, яку я міг перекласти на Р.

Редагувати: І ось нещодавній документ Біренса (повторного), що походить від Жарке-Бера та Кіфер-Салмона.

Редагувати 2: Я переглянув старий код, і, схоже, це справді те саме тест між Жарке-Берою та Кіфер-Салмоном.

Насправді випробування лосося Кіфер та тест Жарке Бера критично відрізняються, як показано в декількох місцях, але останнім часом тут - Моментні тести для стандартизованих розподілів помилок: простий надійний підхід Іі-Цін Чен. Випробування на лососі «Кіфер» за конструкцією є надійним у зв'язку з помилковими структурами типу ARCH на відміну від стандартного тесту Ярка Бера. Доповідь Yi-Ting Chen розробляє та обговорює те, що, на мою думку, є найкращими тестами на даний момент.

Для розмірів вибірки <30 суб'єктів вважається, що Шапіро-Вілк має потужну потужність - будьте обережні , регулюючи рівень значущості тесту, оскільки це може спричинити помилку типу II! [1]