Яка різниця між тестом Шапіро-Вілка на нормальність і тестом Колмогорова-Смірнова на нормальність?


Відповіді:


23

Ви навіть не можете порівняти ці два, оскільки Колмогоров-Смирнов призначений для повністю визначеного розподілу (тому, якщо ви перевіряєте нормальність, потрібно вказати середнє значення та відхилення; їх неможливо оцінити за даними *), Шапіро-Вілк - це нормальність, не визначена середня величина та дисперсія.

* ви також не можете стандартизувати, використовуючи оцінені параметри та тестувати на стандартне нормальне; це насправді те саме.

Одним із способів порівняння буде доповнення Shapiro-Wilk тестом на задане середнє значення та дисперсію в нормі (комбінування тестів певним чином) або встановленням таблиць KS, відрегульованих для оцінки параметрів (але тоді це вже не розподіл -вільно).

Існує такий тест (еквівалентний Колмогорову-Смірнову з розрахунковими параметрами) - тест Лілліфорса; версія тесту на нормальність може бути достовірно порівняна з Shapiro-Wilk (і, як правило, матиме меншу потужність). Більш конкурентоспроможним є тест Андерсона-Дарлінга (який також повинен бути скоригований для оцінки параметрів, щоб порівняння було дійсним).


Що стосується того, що вони тестують - тест KS (та Лілліфорс) розглядає найбільшу різницю між емпіричним CDF та заданим розподілом, тоді як Shapiro Wilk ефективно порівнює дві оцінки дисперсії; тісно пов'язана Шапіро-Франція може розглядатися як монотонна функція кореляції квадрата у графіці QQ; якщо я правильно згадую, Шапіро-Вілк також враховує коваріації між статистикою замовлень.

t30n>60

[Слід пам’ятати, що доступно набагато більше тестів на нормальність, ніж ці.]


Це цікава відповідь, але у мене виникають невеликі труднощі з розумінням того, як це поділити на практиці. Можливо, це мають бути різні питання, але який наслідок ігнорування оцінки параметрів у тесті KS? Чи означає це, що тест Ліллефорса має меншу потужність, ніж неправильно проведена КС, в якій параметри були оцінені за даними?
russellpierce

@rpierce - Основний вплив на обробку оцінених параметрів, як відомо, полягає в різкому зниженні фактичного рівня значущості (а отже, і кривої потужності) від того, яким він повинен бути, якщо врахувати це (як це робить Lilliefors). Тобто, Lilliefors - це КЗ "зроблено правильно" для оцінки параметрів, і він має значно кращу потужність, ніж КС. З іншого боку, Лілліфорс має набагато гіршу потужність, ніж, наприклад, тест Шапіро-Вілка. Коротше кажучи, KS не є особливо потужним тестом для початку, і ми робимо це гірше, ігноруючи, що ми робимо оцінку параметрів.
Glen_b -Встановити Моніку

... маючи на увазі, коли ми говоримо "краща влада" та "гірша влада", що ми, як правило, маємо на увазі владу проти того, що люди взагалі розглядають як цікаві види альтернатив.
Glen_b -Встановити Моніку

1
Я бачив криву потужності, я просто не замислювався над тим, що буде означати її зниження або підвищення, і натомість Бог затримався про ваш другий коментар, починаючи: "маючи на увазі". Я якось закрутився і подумав, що ти говориш, що "краща" сила означає мати криву потужності там, де вона повинна бути. Це, можливо, ми обманювали і отримували нереальну владу в KS, тому що ми передавали їй параметри, які слід було б покарати за оцінку (тому що це те, до чого я звик, через те, що не визнаю, що параметр походить від оцінки) .
russellpierce

1
Не впевнений, як я пропускав ці коментарі раніше, але так, обчислені p-значення від використання тесту KS з розрахунковими параметрами, ніби вони були відомі / вказані, як правило, будуть занадто високими. Спробуйте в R: hist(replicate(1000,ks.test(scale(rnorm(x)),pnorm)$p.value))- якби р-значення були такими, якими вони повинні бути, це виглядало б рівномірно!
Glen_b -Встановіть Моніку

24

Якщо коротко сказано, тест Шапіро-Вілка є специфічним тестом на нормальність, тоді як метод, який використовується тестом Колмогорова-Смірнова, є більш загальним, але менш потужним (тобто він рідше відкидає нульову гіпотезу про нормальність). Обидві статистичні дані приймають нормальність як нульову та встановлюють тестову статистику на основі вибірки, але те, як вони це роблять, відрізняється одна від одної тим, що робить їх більш-менш чутливими до особливостей звичайних розподілів.

Як саме розраховано W (статистика випробувань для Шапіро-Вілка), це дещо пов'язане , але концептуально це включає в себе вибір вибіркових значень за розміром і вимірювання відповідності очікуваним засобам, відхиленням і коваріаціям. Ці множинні порівняння з нормальністю, наскільки я розумію, дають випробуванню більше сили, ніж тест Колмогорова-Смірнова, який є одним із способів, якими вони можуть відрізнятися.

Навпаки, тест Колмогорова-Смірнова на нормальність виходить із загального підходу до оцінки корисності при порівнянні очікуваного кумулятивного розподілу з емпіричним кумулятивним розподілом:

alt текст

Як такий, він чутливий у центрі розповсюдження, а не хвости. Однак КС є тестом конвергентним, в тому сенсі, що як n прагне до нескінченності, тест вірогідним чином сходиться до істинної відповіді (я вважаю, що теорема Глівенко-Кантеллі застосовується тут, але хтось може мене виправити). Це ще два способи, за якими ці два тести можуть відрізнятися в оцінці їх нормальності.


3
Крім того, тест Шапіро-Вілка часто застосовується при оцінці відхилень від нормальності в невеликих пробах. Чудова відповідь, Джон! Спасибі.
aL3xa

+1, дві інші зауваження щодо KS: її можна використовувати для перевірки на будь-який великий розподіл (тоді як SW призначений лише для нормальності), а нижча потужність може бути хорошою справою з більшіми зразками.
gung - Відновіть Моніку

Як нижча потужність - це добре? Поки Тип I залишається тим самим, чи не завжди вища потужність завжди краща? Крім того, КС, як правило, не менш потужна, лише, можливо, для лептокуртозу? Наприклад, KS набагато потужніше для перекосу без сумірного збільшення помилок типу 1.
Іван

Колмогоров-Смирнов призначений для повністю визначеного розподілу. Шапіро Вілк - ні. Їх неможливо порівняти ... тому що, як тільки ви внесете необхідні коригування для порівняння, у вас більше немає того чи іншого тесту .
Glen_b -Встановіть Моніку

Знайшов це симуляційне дослідження на випадок, якщо додає щось корисне в деталях. Той самий загальний висновок, що і вище: тест Шапіро-Вілка є більш чутливим. ukm.my/jsm/pdf_files/SM-PDF-40-6-2011/15%20NorAishah.pdf
Nick Stauner
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.