Тестування гіпотез Bootstrap vs. permutation


37

Існує кілька популярних методів перестановки, які часто використовуються на практиці, такі як завантажувальний запуск, перестановка на перестановку, джекніф і т. Д. Існують численні статті та книги, які обговорюють ці методи, наприклад , тести перестановки, параметричні та завантажувальні функції «Філіпп I хороший» (2010). Гіпотези

Моє запитання, яка техніка перекомпонування отримала більшу популярність та простіший спосіб впровадження? Тести на завантаження чи перестановку?


8
Популярність навряд чи є хорошим показником якості. Судячи з кількості цитат (клієнтів), McDonalds - це набагато популярніший (кращий?) Ресторан, ніж будь-який тризірковий заклад Michelin. Тоді ви візьмете свого наступного спікера семінару до McDonalds?
Стаск

Відповіді:


68

Обидва є популярними та корисними, але в першу чергу для різних цілей. Тест на перестановку найкращий для тестування гіпотез, а завантаження - найкраще для оцінки довірчих інтервалів.

Пермутаційні тести перевіряють конкретну нульову гіпотезу обмінності, тобто лише випадкова вибірка / рандомізація пояснює бачну різницю. Це звичайний випадок для таких речей, як t-тести та ANOVA. Він також може бути розширений на такі речі, як часові ряди (нульова гіпотеза про відсутність послідовних кореляцій) або регресія (нульова гіпотеза про відсутність взаємозв'язку). Пермутаційні тести можуть бути використані для створення довірчих інтервалів, але для цього потрібно набагато більше припущень, які можуть бути або не бути розумними (тому переважні інші методи). Тест Манна-Вітні / Вілкоксона насправді є особливим випадком тесту на перестановку, тому вони набагато популярніші, ніж деякі розуміють.

Завантажувальна програма оцінює мінливість процесу вибірки і добре працює для оцінки довірчих інтервалів. Ви можете зробити тест гіпотези таким чином, але він, як правило, менш потужний, ніж тест на перестановку для випадків, що стосуються припущень тесту перестановки.


2
Дякую за відповідь. Чому довірчий інтервал завантажувальної стрічки менш потужний, ніж тест перестановки? Скільки так? Чи можна охарактеризувати ситуації, за яких він значно менш потужний? Перевагою є можливість показати інтервал довіри, тому в цьому сенсі завантажувальна програма здається більш цінною.
dfrankow

2
@dfrankow, 2 методи використовують різні припущення. Для великих зразків та відмінностей вони обидва будуть нормальними, але при менших зразках / відмінностях тест на перестановку з більшою ймовірністю виявить відмінності та буде відповідним. Дивіться цю відповідь: stats.stackexchange.com/questions/112147/… для прикладів, коли завантажувальний пристрій навіть не має правильного розміру (відхиляє занадто часто, коли нуль відповідає).
Грег Сног

Чи не є тест перестановки варіацією при завантаженні?
Вікі Б

@VickiB, тести завантаження та перестановки часто згадуються разом, але завантажувальні зразки із зразками заміни та перестановки без заміни, які мають значення в тому, що вони можуть зробити і наскільки вони потужні.
Грег Сног


8

Моє запитання, яка техніка перекомпонування набула більшої популярності
тести завантаження чи перестановки?

  1. Запуск завантаження здебільшого полягає у створенні великих стандартних помилок чи довірчих інтервалів; пермутаційні тести, як випливає з назви, здебільшого стосуються тестування. (Кожен може бути адаптований для використання для іншого завдання.)

  2. Як би ми судили про популярність? Якщо ми подивимось на такі сфери, як психологія та освіта, ми можемо знайти багато корисних тестів на основі рангів, таких як Wilcoxon-Mann-Whitney, підписаний тест на рангову оцінку, тести на співставлення рангів тощо. Це все тести на перестановку (з іншого боку, існує багато випадків, коли замість них можуть використовуватися перестановочні тести вихідних даних, але зазвичай це не так). У деяких інших областях застосування пермутаційні тести рідко використовуються, але різня популярність у різних областях застосування іноді говорить більше про місцеву культуру тієї чи іншої області, ніж корисність.

простіше у виконанні?

У багатьох випадках - особливо простіших - вони майже однаково прості - це по суті різниця між вибіркою із заміною та вибіркою без заміни.

У деяких складніших випадках завантажувальний процес простіше зробити, оскільки (дивлячись на це з точки зору тестування) він працює за альтернативою, а не нульовою (принаймні, наївні реалізації будуть - робити це так, щоб він працював добре може бути набагато складніше).

Точні перестановки на перестановку можуть бути складними у складніших випадках, оскільки підходяща змінна кількість може бути непомітною - часто майже обмінна кількість може бути замінена ціною точності (і справді не розподіляє).

Запуск завантаження по суті відмовляється від відповідного критерію точності (точне покриття інтервалів) з самого початку, а натомість зосереджується на спробі отримати достатньо хороше охоплення у великих зразках (іноді з меншим успіхом, ніж це можна зрозуміти; якщо ви ще не перевірили, не не припускаю, що завантажувальна програма надає покриття, на яке ви її очікуєте).

Пермутаційні тести можуть працювати на малих зразках (хоча обмежений вибір значущості іноді може бути проблемою для дуже малих зразків), тоді як завантажувальний пристрій є технікою з великим зразком (якщо ви використовуєте його з невеликими зразками, у багатьох випадках результати можуть не бути бути дуже корисним).

Я рідко бачу їх як конкурентів з однієї проблеми і використовую їх для (різних) реальних проблем - часто буде природний вибір, на який слід звернути увагу.

І для обох є користь, але ні в панакеї. Якщо ви сподіваєтесь зменшити зусилля на навчанні, зосередившись лише на одному з них, ви, ймовірно, будете розчаровані - обидва є найважливішими частинами набору інструментів перестановки.


1
Чи можете ви уточнити, що означає "відповідна обмінна кількість може бути непомітною ?" (+1 очевидно)
usεr11852 повідомляє Відновити Моніку

1
Розглянемо спробу провести тест на перестановку в експерименті з двома факторами і коваріатом (або просто розглянемо регресію з кількома предикторами). З незалежністю і без нуля жодних ефектів спостереження обмінні, і тому ви можете перевірити цю гіпотезу, але у вас немає способу побудувати перестановочний тест лише факторів (оскільки ви очікуєте, що коваріат матиме ефект і перевірити його на нуль не цікаво); аналогічно, ви не можете побудувати тест на перестановку лише одного з двох факторів. ...
ctd

1
ctd ... Очевидно, що обмінна кількість, якщо ви знаєте коефіцієнти сукупності, яких ви не тестуєте (і помилки завжди були б обмінні), але ви не можете їх спостерігати. Якщо ви заміните оцінки коефіцієнтів або помилок (тобто залишків), величини можна обмінювати довше. Однак за певних умов вони можуть бути приблизно обмінними (деякі люди виступають саме так) .... і якщо ви зробите це, то в кінцевому підсумку ви знайдете щось подібне до завантажувальної програми, але з вибіркою без заміни замість вибірки із заміною.
Glen_b -Встановіть Моніку

Дякую; Я буду ретельно продумати це. Я підозрюю, що тут мені навчитися щось глибше. :)
usεr11852 повідомляє Відновити Моніку

1
@NULL чомусь я пропустив ваш запит на отримання довідки. Для початку слід зробити деякі посилання тут: davegiles.blogspot.com/2019/04/…
Glen_b -Встановити Моніку
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.