Два способи тесту на значимість завантажувальної програми

Використовуючи завантажувальний інструмент, я обчислюю p значення значень тестів за допомогою двох методів:

перекомпонування під нульовою гіпотезою та підрахунок результатів принаймні настільки ж крайній, як і результат, отриманий з оригінальних даних
перекомпонування за альтернативною гіпотезою та підрахунок результатів принаймні таким самим віддаленим від початкового результату, як значення, що відповідає нульовій гіпотезі

Я вважаю, що ^перший підхід є цілком правильним, оскільки він відповідає визначенню значення ap. Я менш впевнений у другому, але він зазвичай дає дуже схожі результати і нагадує мені тест Вальда.

Чи правий я? Чи обидва методи правильні? Чи однакові вони (для великих зразків)?

^{Приклади двох методів (правки після запитань DWin та відповіді Еріка):

Приклад 1. Побудуємо тест завантажувальної програми, аналогічний двом зразкам Т-тесту. Спосіб 1 буде перепробовано з одного зразка (отриманий об'єднанням початкових двох). Спосіб 2 буде відтворений з обох зразків незалежно.

Приклад 2. Побудуємо тест завантажувальної кореляції кореляції між xₐ… xₐ та y₁… yₐ. Спосіб 1 передбачає відсутність кореляції та повторної вибірки, що передбачає (xₑ, yₔ) пар, де e ≠ ə. Метод 2 складе зразок завантажувальної програми з оригінальних пар (x, y).

Приклад 3. Побудуємо тест завантаження, щоб перевірити, чи справедлива монета. Метод 1 створить випадкові вибірки, встановивши Pr (голова) = Pr (хвіст) = ½. Метод 2 дозволить повторно пробити вибірку експериментальних значень голови / хвоста та порівняти пропорції до ½.}

statistical-significance bootstrap p-value

— winerd
джерело

Яка "альтернативна гіпотеза"? У традиційній риболовній номенклатурі не було б лише однієї альтернативи, а нескінченна сім'я альтернатив. І як ви "пробите під гіпотезою" з цього питання? Відбір проб робиться за даними. гіпотеза про параметр.

— DWin

@DWin: Дякую, будь ласка, дивіться мій приклад, доданий до мого запитання.

— winerd

Перший підхід є класичним та надійним, але його не завжди можна використовувати. Щоб отримати зразки завантажувальної програми, припускаючи нульову гіпотезу, ви повинні бути готові прийняти теоретичний розподіл, який слід виконати ( це ваш перший варіант ), або припустити, що ваша статистика, що цікавить, має таку ж розподільну форму, коли вона переходить на нульову гіпотезу ( ваш другий варіант ). Наприклад, за звичайного припущення t-розподіл має таку ж форму, коли він переходить на інше середнє. Однак при зміні нульової частоти 0,5 біноміального розподілу на 0,025 також зміниться форма.

На мій досвід, інакше у випадку, якщо ви готові зробити ці припущення, у вас часто є й інші варіанти. У вашому прикладі 1), коли ви, начебто, припускаєте, що обидва зразки могли походити з однієї базової популяції, на мою думку, було б краще провести перестановку .

Є ще один варіант (який, здається, є вашим другим вибором), який базується на довірчих інтервалах завантаження. В основному, це передбачає, що якщо ваше заявлене покриття має таку значимість на рівні , еквівалентно нульовій гіпотезі, яка не включається в інтервал впевненості. Дивіться, наприклад, це питання: Чим відрізняється інтервал довіри від тестування гіпотез? $\alpha$ $(1-\alpha)$

Це дуже гнучкий метод і застосовний для багатьох тестів. Однак дуже важливо побудувати хороші довірчі інтервали завантаження, а не просто використовувати наближення Wald або метод перцентиля. Деякі відомості тут: Інтервал довіри на основі завантаження

— Ерік
джерело

Гарна відповідь. Тож другий варіант вимагає симетричності занадто правильно? Припустимо, середнє значення вашого довірчого інтервалу більше 0, і ви вважаєте, що H не вважається рівним 0. Тоді, дивлячись на те, де 0 у вашому інтервалі довіри, відрізняється від того, наскільки екстремальним є середнє значення, припускаючи, що H не ( це в двох різних напрямках, якщо припустити, що ви зміщуєте довірчий інтервал).

— michal

@erik щойно розпочав щедрість за аналогічне запитання - яке в основному є тривалою верховинною версією вищевказаного коментаря - коли можна використовувати варіант 2 та за яких умов? stats.stackexchange.com/questions/175659/…

— Xavier Bourret Sicotte