14

Отже, це може бути звичайним питанням, але я ніколи не знайшов задовільної відповіді.

Як визначити ймовірність того, що нульова гіпотеза є істинною (або помилковою)?

Скажімо, ви даєте студентам дві різні версії тесту і хочете перевірити, чи були версії еквівалентними. Ви виконуєте t-тест, і він дає p-значення .02. Яке приємне p-значення! Це повинно означати, що навряд чи тести є рівнозначними, правда? Ні. На жаль, виявляється, що P (результати | null) не повідомляє вам P (null | results). Нормальна річ - це відхилити нульову гіпотезу, коли ми стикаємося з низьким значенням p, але як ми можемо знати, що ми не відкидаємо нульову гіпотезу, що дуже вірогідно? Щоб навести нерозумний приклад, я можу скласти тест на еболу з помилковою позитивною швидкістю .02: покласти 50 відправ у відро і написати «еболу» на одному. Якщо я тестую когось із цим, і він вибирає кульку "ебола", значення р (P (вибираючи м'яч | у них немає еболи)) - 02,

Речі, які я розглядав досі:

Припустимо, що P (null | results) ~ = P (results | null) - явно помилковий для деяких важливих програм.
Прийміть або відхиліть гіпотезу, не знаючи P (null | results) - Чому ми їх тоді приймаємо чи відхиляємо? Чи не вся суть у тому, що ми відкидаємо те, що вважаємо ЛІКВІЛЬНО помилковим, і приймаємо те, що ЛІКЕЛЬНО правдиве?
Використовуйте теорему Байєса - але як ви отримуєте своїх пріорів? Ви не опинилися там же, намагаючись експериментально їх визначити? І вибирати їх апріорі здається дуже довільним.
Тут я знайшов дуже схоже запитання: stats.stackexchange.com/questions/231580/. Одне відповідь тут, по суті, говорить про те, що не має сенсу питати про ймовірність того, що нульова гіпотеза є істинною, оскільки це байєсівське питання. Можливо, я по душі байєсів, але не можу уявити, щоб не задати це питання. Насправді здається, що найпоширенішим нерозумінням р-значень є те, що вони є ймовірністю справжньої нульової гіпотези. Якщо ви справді не можете поставити це питання як частолюбиця, то моє головне питання - №3: як ви можете отримати своїх пріорів, не зациклюючись на циклі?

Редагувати: Дякую за всі продумані відповіді. Я хочу торкнутися пари загальних тем.

Визначення ймовірності: я впевнений, що про це багато літератури, але моє наївне уявлення - це щось на кшталт "віри в те, що ідеально раціональна істота дала б інформацію" або "шанси на ставки, які б максимізували прибуток, якщо ситуація було повторено, і невідомі дозволили змінюватися ".
Чи можемо ми коли-небудь знати P (H0 | результати)? Звичайно, це здається складним питанням. Я вважаю, що кожна ймовірність є теоретично пізнаваною, оскільки ймовірність завжди обумовлена даною інформацією. Кожна подія буде або відбуватися, або не відбудеться, тому ймовірність не існує з повною інформацією. Він існує лише тоді, коли недостатньо інформації, тому він повинен бути обізнаним. Наприклад, якби мені сказали, що хтось має монету і запитав про ймовірність голови, я б сказав 50%. Може статися, що монета зважена на 70% в головах, але мені цю інформацію не дали, тому ймовірність БИЛА 50% за інформацію, яку я мав, так само, як це трапляється і на хвости, ймовірність склала 70% голови, коли я це дізнався. Оскільки ймовірність завжди обумовлена набором (недостатньою) даних,
Редагувати: "Завжди" може бути трохи занадто сильним. Можливо, є деякі філософські питання, для яких ми не можемо визначити ймовірність. Проте в реальних ситуаціях, хоча ми «майже ніколи» не можемо мати абсолютної визначеності, «майже завжди» має бути найкраща оцінка.

probability hypothesis-testing bayesian

— Калев Марік
джерело

1

Якщо ваша «нульова гіпотеза» - це щось на зразок

, тобто, якась різниця дорівнює нулю, то відкидаючи це означає, що ви знайшли досить сильні докази того, що

. Ви можете замість цього отримати нульову гіпотезу на зразок

, тобто деяка різниця принаймні така велика, як

(де

- це те, що дослідник вважає найменшою різницею, яка їх хвилює), а відхилення означає, що ви знайшли

H_{0} : θ = 0

$H_{0}: \theta = 0$

H_{A} : θ = 0

$H_{A}: \theta = 0$

H_{0} : | θ | \geq Δ

$H_{0}: |\theta| \ge \Delta$

Δ

$\Delta$

Δ

$\Delta$

H_{A} : | θ | < Δ

$H_{A}: |\theta| < \Delta$ (тобто

). Дивіться тести на еквівалентність stats.stackexchange.com/tags/tost/info

- Δ < θ < Δ

$-\Delta < \theta < \Delta$

— Алексіс

Сила експерименту (і статистичного тесту, що аналізує результати експерименту) - це ймовірність того, що якщо був би ефект заданого розміру чи більше, експеримент виявив би його за заданим порогом значущості. statisticsdonewrong.com/power.html

— Беннет Браун

дивіться stats.stackexchange.com/questions/166323/…

Ваш приклад монети - хороший. Це показує, що ви ніколи не можете знати P (H0 | результати), якщо ви лише знаєте результати та не робите більше припущень . Чи знаєте ви ймовірність головок у даному киданні "припускаючи" певну справедливість монети? Так. (але це гіпотетично, зважаючи на припущення, і ви ніколи не дізнаєтесь, чи ваші припущення є істинними) Чи знаєте ви ймовірність голів у даному киданні, знаючи ряд попередніх результатів. Ні! і не важливо, наскільки велика кількість попередніх результатів ви знаєте. Ви не можете точно знати ймовірнісні голови в наступному киданні.

— Секст Емпірік

13

Ви, безумовно, визначили важливу проблему, і байєсіанство - це одна спроба її вирішити. При бажанні ви можете вибрати неінформативну інформацію. Я дозволю іншим заповнити детальніше про підхід Байєса.

Однак у переважній більшості обставин ви знаєтенуль помилковий у популяції, ви просто не знаєте, наскільки великий ефект. Наприклад, якщо ви складаєте абсолютно смішну гіпотезу - наприклад, що вага людини пов’язаний із тим, чи є їхній SSN непарним чи парним - і вам якось вдається отримати точну інформацію від усієї сукупності, ці два засоби не будуть абсолютно рівними. Вони (ймовірно) відрізнятимуться незначною кількістю, але точно не відповідають. "Якщо ви підете цим маршрутом, ви деэмфазируете p значення і значущі тести і витратите більше часу на перегляд оцінки розміру ефекту та його точності. Отже, якщо у вас дуже великий вибірки, ви можете виявити, що люди з непарними SSN важать на 0,001 фунта більше, ніж люди з парним SSN, і що стандартна помилка для цієї оцінки становить 0,000001 фунтів, тому p <0,05, але ніхто не повинен турбуватися.

— Пітер Флом - Відновити Моніку
джерело

1

Не те, що я не згоден з вами, але чи не думаєте ви, коли він турбується про p (дані | H0) або p (H0 | дані), він говорить про дослідження з низьким

. Приклад, який ви наводите, є простим як в байєсівських, так і в частотних формах, оскільки їх відповідні слабкі сторони / суб'єктивність не мають значення в світлі великої кількості даних. Єдина помилка, яку ви все-таки можете зробити в цій ситуації, має значення - плутати значення з розміром ефекту.

n

$n$

— Девід Ернст

1

Гарний момент щодо розміру ефекту. Чи є аналог до таких ситуацій, як тестування на захворювання, де питання булевого характеру?

— Kalev Maricq

1

FWIW, я абсолютно готовий вважати, що немає ваги між вагою людини і тим, чи є їх SSN непарним чи парним. У спостережному дослідженні ці змінні будуть співвіднесені з деякими іншими змінними тощо, таким чином, що в кінцевому підсумку існує гранична асоціація, що не перевищує 0. Я думаю, що справедливим моментом є те, що для більшості речей, які дослідники вкладають свій час на дослідження, є якась гідна причина підозрювати, що існує ефект не 0.

— gung - Відновіть Моніку

1

@gung ви можете вірити в що завгодно, але між вагою та SSN, безумовно, існує ненульовий зв’язок. Ми знаємо що-небудь більше про відносини, крім їх існування, і про те, що він, мабуть, малий.

— emory

1

Я знаю, що вага - це суцільна величина. Хоча ми можемо записати це як ціле число кілограмів. Ваш коментар стосувався спостережного дослідження (виведення висновків про населення на основі вибірки). Оскільки моє дослідження фінансується за допомогою гіпотетичних доларів, це дослідження населення з використанням нескінченних шкал точності - не потрібно статистичних висновків.

— emory

3

Для того, щоб відповісти на це питання, потрібно визначити ймовірність. Це тому, що нульова гіпотеза є правдивою (за винятком того, що вона майже ніколи не буває, коли ви вважаєте точкові гіпотези) або помилковою. Одне визначення полягає в тому, що моя ймовірність описує мою особисту переконання щодо того, наскільки ймовірно, що мої дані виникли з цієї гіпотези порівняно з тим, наскільки ймовірно, що мої дані виникли з інших гіпотез, які я розглядаю. Якщо ви почнете з цієї основи, то вашим пріоритетом є лише ваша віра, заснована на всій вашій попередній інформації, але виключаючи наявні дані.

— jaradniemi
джерело

Гарна думка. Я думаю, що моя ідея про ймовірність - це щось на кшталт "ідеально раціональної віри" замість моєї особистої. Я редагував своє запитання, щоб вирішити ваші моменти.

— Kalev Maricq

2

Ключова ідея полягає в тому, що, вільно кажучи, ви можете емпірично показати, що щось неправдиво (просто наведіть контрприклад), але ви не можете показати, що щось точно є правдивим (вам потрібно перевірити "все", щоб показати, що немає контрприкладів).

Фальсифікованість лежить в основі наукового методу: ви вважаєте, що теорія правильна, і ви порівнюєте її прогнози з тим, що ви спостерігаєте в реальному світі (наприклад, гравітаційна теорія Нетвона, як вважалося, є "справжньою", поки не з'ясувалося, що це не надто добре працювати в екстремальних обставинах).

Це також відбувається при тестуванні гіпотез: коли P (результати | null) низький, дані суперечать теорії (або вам не пощастило), тому має сенс відкинути нульову гіпотезу. Насправді, припустимо, що null є істинним, тоді P (null) = P (null | результати) = 1, тому єдиний спосіб, коли P (результати | null) низький, - це те, що P (результати) низький (жорстка удача).

З іншого боку, коли P (результати | null) високий, хто знає. Можливо, null помилково, але P (результат) високий, і в цьому випадку ви нічого не можете зробити, окрім розробки кращого експерименту.

Дозвольте ще раз зазначити: ви можете лише показати, що нульова гіпотеза (ймовірно) помилкова. Тому я б сказав, що відповідь - це половина вашого другого пункту: вам не потрібно знати P (null | результати), коли P (results | null) низький, щоб відхилити null, але ви не можете сказати, що null - це правда P (результати | null) висока.

Ось чому дуже важливою є відтворюваність: було б підозріло бути невдалим п’ять разів із п’яти.

— Чорний ведмідь
джерело

H_{0} :

$H_0:$

H_{a l t e r n a t i v e} :

$H_{alternative}:$ | результат | <a вірно.

— Секст Емпірік

Я згоден з Мартійн. Якщо ви можете сказати мені, як визначити ймовірність того, що нульова гіпотеза помилкова, я вважаю це вдалою відповіддю на моє запитання.

— Kalev Maricq

також зауважте, що P (результат | null) малий може бути нормальним, навіть якщо нуль є істинним. Наприклад, якщо ми спостерігаємо середнє значення в 1000 рулонах з кістки,

μ_{1000}

$\mu_{1000}$ , потім

P (μ_{1000} = 3.50)

$P(\mu_{1000}=3.50)$ невелика навіть для справедливих кісток. p-значення будуються інакше, ніж P (результат | null), і більш точно зроблені для визначення помилки I типу, описуючи "результат" як "результат, при якому ми відхиляємо". Таким чином ми маємо помилку типу I як P (null відхилено | null true) = P (результат відхилення | null). Тож уявіть, що нуль є істинним (гіпотетично), тоді ми маємо ймовірність P (результат відхилення | null) зробити помилку типу I.

— Секст Емпірік

2

-------------------------------------------------- ---------------------

(редагувати: я думаю, було б корисно в цій відповіді поставити версію свого коментаря до цього питання, оскільки це набагато коротше)

Несиметричне обчислення p (a | b) відбувається, коли воно розглядається як причинно-наслідковий зв’язок, як p (результат | гіпотеза). Цей обчислення не працює в обох напрямках: гіпотеза спричиняє розподіл можливих результатів, але результат не спричиняє розподілу гіпотез.

P (результат | гіпотеза) - теоретичне значення, засноване на гіпотезі причинно-наслідкових зв’язків -> результат.

Якщо p (a | b) виражає кореляцію чи спостережувану частоту (не обов'язково причинно-наслідковий зв’язок), то вона стає симетричною. Наприклад, якщо ми записуємо кількість ігор спортивних команд, які виграє / програє, а кількість ігор спортивних команд набрала менше або дорівнює, ніж / більше 2 голів у таблиці непередбачених ситуацій. Тоді Р (виграш | оцінка> 2) і Р (оцінка> 2 | виграш) є подібними експериментальними / спостережливими (не теоретичними) об'єктами.

-------------------------------------------------- -------------------

Дуже спрощено

Вираз P (результат | гіпотеза) здається настільки простим, що змушує легко думати, що ви можете просто змінити терміни. Однак 'результат' є стохастичною змінною з розподілом ймовірності (з огляду на гіпотезу). І "гіпотеза" не є (як правило) стохастичною змінною. Якщо ми зробимо «гіпотезу» стохастичною змінною, то вона передбачає розподіл ймовірності різних можливих гіпотез, так само, як і розподіл ймовірності різних результатів. (але результати не дають нам цього розподілу ймовірності гіпотези, а просто змінюють розподіл за допомогою теореми Байєса)

Приклад

Скажімо, у вас є ваза з червоним / синім мармуром у співвідношенні 50/50, з якої ви малюєте 10 мармурів. Тоді ви можете легко виразити щось на зразок P (результат | експеримент з вазою), але мало сенсу виражати P (експеримент з вазою | результат). Результат - це самостійно, а не розподіл вірогідності різних можливих експериментів з вазами.

Якщо у вас є кілька можливих типів експериментів з вазами, у такому випадку можна використовувати експрес-щось на зразок P (тип експерименту з вазою) і використовувати правило Байєса, щоб отримати P (тип експерименту з вазою | результат), тому що зараз тип експеримент з вазою - стохастична змінна. (зверніть увагу: точніше, це P (тип експерименту з вазою | результат та розподіл типу експериментів з вазою))

Але цей P (тип експерименту з вазою | результат) вимагає (мета-) гіпотези щодо заданого початкового розподілу P (тип експерименту з вазою).

Інтуїція

можливо, вираз, наведений нижче, допомагає зрозуміти один напрямок

X) Ми можемо висловити ймовірність X з урахуванням гіпотези про X.

таким чином

1) Ми можемо висловити ймовірність результатів, що дають гіпотезу про результати.

і

2) Ми можемо висловити ймовірність гіпотези з урахуванням (мета-) гіпотези про ці гіпотези.

Саме правило Байєса дозволяє нам виразити обернену (1), але для цього нам потрібна (2), гіпотеза повинна бути стохастичною змінною.

Відхилення як рішення

Тому ми не можемо отримати а абсолютну ймовірність гіпотези з урахуванням результатів. Це факт життя, намагання боротися з цим фактом, здається, є джерелом не знайти задовільної відповіді. Рішення знайти задовільну відповідь: прийняття того, що не можна отримати (абсолютну) ймовірність гіпотези.

Часто

Так само, як не в змозі прийняти гіпотезу, ми не повинні ні (автоматично) відкидати гіпотезу, коли P (результат | гіпотеза) близький до нуля. Це означає лише те, що є докази, які підтримують зміну нашої думки, і це залежить також від P (результат) та P (гіпотеза), як ми повинні висловити свою нову віру.

Коли у часто відвідувачів є якась схема відхилення, то це нормально. Те, що вони виражають, не є гіпотезою, це правда чи помилка, або ймовірність таких випадків. Вони не в змозі це зробити (без пріорів). Те, що вони висловлюють натомість, - це щось про рівень відмов (впевненість) їх методу (за умови, що певні припущення є істинними).

Всезнаючий

Один із способів вийти з усього цього - це усунення поняття ймовірності. Якщо ви спостерігаєте за цілою сукупністю 100 мармурів у вазі, то ви можете висловити певні твердження про гіпотезу. Отже, якщо ви станете всезнаючим, а поняття ймовірності не має значення, то ви можете стверджувати, що гіпотеза вірна чи ні (хоча ймовірність також виходить із рівняння)

— Секст Емпірік
джерело

Ваш приклад вази має сенс. Однак у реальному житті ми майже ніколи не знаємо, скільки мармуру кожного кольору у вазі. У мене завжди виникає запитання, схоже на "Чи більше червоного мармуру, ніж синього", і мої дані полягають у тому, що я намалював із вази 4 червоних мармуру та 1 синій мармур. Тепер я можу зробити припущення на кшталт "там, мабуть, - 100 мармурів, і кожен мармур є червоним або синім із 50% -ною ймовірністю", але в реальному житті я часто опиняюся в збитку за те, як довільно і без кругообігу отримати ці пріори.

— Kalev Maricq

Це швидше гносеологічне питання, ніж проблема вірогідності. Вираз на зразок Р (результат | гіпотеза) аналогічно "помилковий", я маю на увазі, це гіпотетичний вираз. Ви можете висловити ймовірність результату, враховуючи певну гіпотетичну думку про «реальність». Так само, як ймовірність експериментального результату гіпотетична, вираз для ймовірності якоїсь теорії (з певним спостереженням або без нього) вимагає певної гіпотетичної віри щодо «реальності». Так, пріори дещо довільні. Але так це гіпотеза.

— Секст Емпірік

Якщо говорити про ймовірності. Зауважимо, що правило Байєса - це про дві стохастичні змінні: P (a | b) P (b) = P (b | a) P (a). Можна співвіднести умовні ймовірності. Якщо один із цих P (b | a) є причинно-наслідковим зв’язком, як це в "теорії призводить до розподілу результатів", то ви можете його обчислити точно. Такий випадок лише тому, що (однонаправлена) причинність. Гіпотеза дозволяє знати (гіпотетично) все необхідне, мармур у вазі. Навпаки, не працює. Експериментальний результат 4 червоного проти 1 синього не спричиняє розподілу ймовірності мармуру у вазі.

— Секст Емпірік

Ймовірність того, що нульова гіпотеза правдива

-------------------------------------------------- ---------------------

-------------------------------------------------- -------------------

Дуже спрощено

Приклад

Інтуїція

Відхилення як рішення

Часто

Всезнаючий