Яка різниця між "тестуванням гіпотези" та "тестом на значимість"?

Чи є різниця між фразами "перевірка гіпотези" та "перевірка значимості" чи вони однакові?

Після детальної відповіді від @Micheal Lew, у мене є одна плутанина, що сьогодні гіпотеза (наприклад, t-тест для тестування середнього) є прикладом або "тестування на значимість", або "тестування гіпотез"? Або це поєднання обох? Як би ви їх диференціювали простим прикладом?

Тестування значущості - це те, що придумав Фішер, а тестування гіпотез - це те, що Нейман та Пірсон придумали замінити тестування на значимість. Вони не однакові і взаємно несумісні в тій мірі, яка здивувала б більшість користувачів тестів з нульовою гіпотезою.

Тести значущості Фішера дають значення ap, яке представляє, наскільки екстремальні спостереження знаходяться під нульовою гіпотезою. Це значення p - це показник доказів проти нульової гіпотези та рівня значущості.

Тести гіпотез Неймана та Пірсона встановлюють як нульову гіпотезу, так і альтернативну гіпотезу і працюють як правило для прийняття нульової гіпотези. Коротко (тут є більше, ніж я можу сказати), ви вибираєте прийнятну швидкість помилкового позитивного висновку, альфа (як правило, 0,05), або приймаєте або відхиляєте нульове значення, залежно від того, чи значення p вище або нижче альфа. Вам потрібно дотримуватися рішення статистичного тесту, якщо ви хочете захистити від помилкових позитивних помилок.

Підхід Фішера дозволяє взяти до уваги все, що вам подобається, інтерпретуючи результат, наприклад, наявні докази можуть бути неофіційно враховані при інтерпретації та поданні результату. У NP-підході це може бути здійснено лише на етапі експериментального проектування, і, здається, це робиться рідко. На мою думку, рибальський підхід є кориснішим у базовій біонауковій роботі, ніж підхід НП.

Існує велика література про невідповідності між тестуванням значимості та тестуванням гіпотез та про нещасливу гібридизацію обох. Ви можете почати з цієї статті: Гудман, До медичної статистики, заснованої на доказах. 1: Помилковість P значення. http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

У багатьох випадках ці два твердження означають одне і те ж. Однак вони можуть бути і зовсім різними.

Тестування гіпотези полягає в тому, щоб спочатку сказати те, що, на вашу думку, відбудеться з яким-небудь явищем, потім розробити якийсь тест на це явище, а потім визначити, чи явище насправді мало місце. У багатьох випадках перевірка гіпотези не потребує будь-якого статистичного тестування. Мені нагадує цю цитату фізика Ернеста Резерфорда - Якщо вашому експерименту потрібна статистика, вам слід було б зробити кращий експеримент. Незважаючи на те, для перевірки гіпотез зазвичай використовується якийсь статистичний інструмент.

Навпаки, тестування значущості - суто статистичне поняття. По суті, одна з двох гіпотез - нульова гіпотеза, яка стверджує, що між вашими двома (або більше) наборами даних немає різниці. Альтернативна гіпотеза полягає в тому, що між вашими двома зразками є різниця, яка не відбулася випадково.

Виходячи з дизайну вашого дослідження, ви порівнюєте два (або більше) зразки, використовуючи статистичний тест, який дає вам число, яке ви порівнюєте з еталонним розподілом (наприклад, нормальним, t або F розподілом) і якщо ця тестова статистика перевищує критичне значення, ви відкидаєте нульову гіпотезу і робите висновок про різницю між двома (або більше) вибірками. Цей критерій, як правило, полягає в тому, що ймовірність виникнення різниці випадково менше, ніж один із двадцяти (р <0,05), хоча інколи використовують інші.