Статистичний тест, який дозволяє визначити, чи витягують дві проби з однієї сукупності?

Скажімо, у мене є два зразки. Якщо я хочу сказати, чи вони витягнуті з різних груп населення, я можу провести t-тест. Але скажімо, я хочу перевірити, чи є зразки з однієї сукупності. Як це зробити? Тобто, як я обчислюю статистичну ймовірність того, що ці дві вибірки були взяті з однієї сукупності?

statistical-significance

— користувач1566200
джерело

Поясніть, будь ласка, якомога кількісніше - що ви маєте на увазі під «тим же самим». Це допоможе уточнити, що ви маєте на увазі під «умовою».

— whuber

Тест, подібний до двох зразків Колмогорова-Смирнова (не єдина можливість; при звичайних припущеннях, t-тест тестує те саме, що ви зазначаєте) може перевірити, чи відрізняються розподіли популяції (але якщо не відкинути це не ' t означає, що вони насправді однакові). Однак жоден тест не може сказати вам, чи є два розподіли, які не є дуже різними, насправді з однієї і тієї ж сукупності , а не з двох різних груп із подібними розподілами. Це повинно випливати або з припущень, або з іншого розслідування. ...

— ctd

ctd ... Аналогічно, тести навіть не можуть сказати вам, що розподіли однакові, оскільки вони можуть відрізнятися тривіально. Можливо, ви захочете шукати "тест на еквівалентність" або "тестування на еквівалентність", на який ви повинні отримати досить багато звернень тут, або на Google.

— Glen_b -Встановіть Моніку

Відповіді:

Тести, що порівнюють розподіли, - це тести, що виключаються. Вони починаються з нульової гіпотези про те, що 2 групи однакові, потім намагаються відкинути цю гіпотезу. Ми ніколи не можемо довести нуль як правдивий, просто відкинути його, тому ці тести реально не можуть бути використані для того, щоб показати, що 2 зразки походять з однієї сукупності (або однакової сукупності).

Це тому, що в розподілах можуть бути незначні відмінності (тобто вони не тотожні), але настільки малі, що тести дійсно не можуть знайти різницю.

Розглянемо 2 розподіли, перший - рівномірний від 0 до 1, другий - суміш 2 уніформи, тож це 1 від 0 до 0,999, а також 1 між 9,999 та 10 (0 в інших місцях). Тож чітко ці розподіли різні (чи є різниця значущою - інше питання), але якщо взяти вибірку розміром 50 з кожного (всього 100), існує більше 90% шансів, що ви побачите лише значення між 0 і 0,999 і не зможете побачити будь-якої реальної різниці.

Є способи зробити те, що називається тестуванням на еквівалентність, коли ви запитуєте, чи 2 розподіли / сукупності еквівалентні, але вам потрібно визначити, що ви вважаєте еквівалентним. Зазвичай деяка міра різниці знаходиться в заданому діапазоні, тобто різниця у 2-х засобах становить менше 5% від середнього показника 2-х засобів, або статистика KS нижче зазначеної межі та ін. Якщо ви потім можна обчислити довірчий інтервал для різниці статистики (різниця засобів може бути просто t довірчим інтервалом, завантаження, моделювання чи інші методи можуть знадобитися для іншої статистики). Якщо весь довірчий інтервал потрапляє в "область еквівалентності", то ми вважаємо 2 групи / розподіли "еквівалентними".

Важка частина полягає у з'ясуванні, якою має бути область еквівалентності.

— Грег Сніг
джерело

Тест нульової гіпотези ніколи не може надати доказів нульової гіпотези, правда. Вибір моделі, або баєсівський, або на основі якогось "критерію" (AIC, BIC), однак, може вказувати на те, що нульова модель (однакові розподіли) є кращим описом даних, ніж альтернативна модель (різний розподіл). Все це під купою припущень звичайно.

— А.Донда

http://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test

Припускаючи, що ваші значення вибірки походять від постійних розподілів, я б запропонував тест Колмогорова-Смірнова. Він може бути використаний для перевірки того, чи походять два зразки з різних розподілів (саме так я трактую ваше використання населення) на основі пов'язаних з ними емпіричних розподілів.

Безпосередньо з Вікіпедії:

Нульовий розподіл цієї статистики обчислюється під нульовою гіпотезою про те, що вибірки беруть з одного розподілу (у випадку двох зразків)

Для цього тесту може бути використана функція ks.test в R.

Незважаючи на те, що kstest не перевіряє на однорідність, я заперечую, що якщо ви не зможете відхилити достатньо великий розмір вибірки (потужний тест), ви можете стверджувати, що відмінності практично не суттєві. Можна зробити висновок, що якщо існують відмінності, вони, ймовірно, не мають сенсу (знову ж таки, якщо вважати великий розмір вибірки). Ви не можете зробити висновок, що вони з тієї ж популяції, що правильно заявили інші. Все це, як правило, я б просто графічно вивчив два зразки на предмет подібності.

— Підривник
джерело

Я сумніваюся, що тест KS можна використовувати для показу еквівалентності розподілу.

— Майкл М

@MichaelMayer саме так. ОП зацікавлений у випробуванні на однорідність ... який має багато основоположних методологічних питань. У KS щодо неоднорідності також є свої проблеми: практично, вона буде відкидати у великих зразках незалежно від того, чи популяції практично однакові у всіх аспектах. Це просто показує, що тестування, а отже, і p-значення, краще сприйматися як міри вибіркової вибірки, ніж статистична значущість.

— AdamO

@AdamO Так, але якщо у вас є великі зразки, і ви не можете їх відхилити, я буду впевнений, що популяції практично однакові. Наскільки я знаю, не існує теорії, яка б це підтвердила, але з досвіду, знаючи, що KS для неоднорідності може виявити хвилинні відмінності з великим розміром вибірки, може дозволяти вам використовувати невдалий великий вибірковий тест як фактично твердження практично однакові популяції. Чи відповідає моя відповідь на питання "обчислити статистичну ймовірність того, що ці дві вибірки були взяті з однієї сукупності"? Звичайно, ні.

— Underminer

Що я можу зробити, якщо мої точки двомірні ? Тобто у мене є дві вибірки двовимірних точок, і я хочу знати, чи вони походять від чітких розподілів.

— бекко

Тест KS працює лише проти заздалегідь визначеного розподілу, а не з розподілу з параметрами, оціненими з даних.

— qwr

Ви можете використовувати функцію "shift", яка перевіряє, чи відрізняються 2 розподіли на кожному децилі. Хоча технічно це перевірка того, чи є вони різними групами населення, а не однаковими, якщо розподіли не відрізняються за будь-яким децилом, то ви можете бути впевнені, що вони походять з однієї сукупності, особливо якщо розміри груп великі.

Я також візуалізував би дві групи: накладіть їхні розподіли і подивіться, чи вони схожі між собою, або ще краще намалюйте кілька тисяч зразків завантажувальної програми з кожної групи та побудуйте їх , оскільки це дасть вам уявлення про те, чи походять вони з тієї самої кількість населення, особливо якщо розглянутий рівень населення зазвичай не розподіляється за вказаною змінною.

— Річі
джерело