Що поганого в коміксі XKCD "Честота проти Байєсів"?

Цей комікс xkcd ("Частоліньки проти Байєсів") висміює частоцистського статистику, який отримує очевидно неправильний результат.

Однак мені здається, що його міркування насправді правильні в тому сенсі, що вони відповідають стандартній методології часто.

Отже, моє запитання: "чи правильно він застосовує методологію частолістів?"

• Якщо ні: що було б правильним частота виводу в цьому сценарії? Як інтегрувати «попередні знання» про стійкість до сонця у методологію частотистів?
• Якщо так: wtf? ;-)

Основне питання полягає в тому, що перший експеримент (Sun gone nova) не повторюється, що робить його дуже непридатним для частістської методології, яка тлумачить ймовірність як оцінку того, наскільки часто подія дає, що ми можемо повторити експеримент багато разів. Навпаки, байєсівська ймовірність трактується як наша ступінь переконань, що дає всі наявні попередні знання, що робить її придатною для роздумів здорового глузду про одноразові події. Експеримент із метанням кісток є повторюваним, але я вважаю дуже малоймовірним, щоб будь-який частолюбитель навмисно ігнорував вплив першого експерименту і був би таким впевненим у значущості отриманих результатів.

Хоча, здається, автор знущається над частою покладанням експериментів на повторювані експерименти та їх недовірою до пріорів, надаючи непридатність експериментальної постановки частолістській методології, я б сказав, що справжньою темою цього коміксу є не частофілістська методологія, а сліпе слідування непридатній методології взагалі. Незалежно від того, чи смішно це чи ні, для мене (але я вважаю, що це більше вводить в оману, ніж з'ясовує відмінності між двома підходами.

Наскільки я можу побачити, що частолістський біт є розумним на сьогоднішній день:

Нехай - гіпотеза про те, що сонце не вибухнуло, а - гіпотеза. Значення р, таким чином, є ймовірністю спостереження за результатом (машина, що говорить "так") під . Якщо припустити, що машина правильно виявляє відсутність нейтрино, то якщо машина каже "так" під то це тому, що машина лежить нам в результаті прокатки двох шести. Таким чином, р-значення становить 1/36, тому, дотримуючись звичайної квазі-Фішерської наукової практики, частофіліст відкидає нульову гіпотезу на рівні 95% значущості .H 1 H 0 H $H_0$$H_1$$H_0$$H_0$

Але відкидання нульової гіпотези не означає, що ви маєте право прийняти альтернативну гіпотезу, тому висновок частотантів не виправданий аналізом. Тести частотних гіпотез втілюють ідею фальсифікації (подібного роду), ви не можете довести нічого правдивого, лише спростуйте. Отже, якщо ви хочете стверджувати , ви припускаєте, що є істинним, і продовжуйте лише тоді, коли зможете показати, що не відповідає даних. Однак це не означає, що є істинним, лише те, що він пережив тест і триває як життєздатна гіпотеза щонайменше, що стосується наступного тесту.H 0 H 0 H $H_1$$H_0$$H_0$$H_1$

Байєсиан - це просто здоровий глузд, зазначаючи, що нічого не можна втратити, зробивши ставку. Я впевнений, що періодичні підходи, коли враховуються хибнопозитивні та хибнонегативні витрати (Нейман-Пісон?), Зробили б той самий висновок, що і найкраща стратегія з точки зору довгострокового виграшу.

Підводячи підсумок: тут і частістські, і байєсовські неохайні: частолюбиві люди сліпо слідують рецепту, не враховуючи відповідного рівня значущості, помилково-позитивних / хибно-негативних витрат або фізики проблеми (тобто, не використовуючи його здоровий глузд) . Байєсівці неохайні за те, що не чітко заявляють своїх пріорів, але потім, використовуючи здоровий глузд, априори, якими він користується, явно правильні (набагато більше шансів, що машина лежить, ніж сонце насправді вибухнуло), неохайність, можливо, виправдана.

Чому цей результат здається "неправильним?" Байєсський би сказав, що результат здається протиінтуїтивним, оскільки у нас є "попередні" вірування про те, коли вибухне сонце, і доказів, наданих цією машиною, недостатньо, щоб вимити ці переконання (здебільшого через невизначеність через монета гортає). Але частофіліст здатний зробити таку оцінку, він просто повинен це робити в контексті даних, на відміну від віри.

Справжнім джерелом парадоксу є той факт, що проведене часто-статистичне тестування не враховує всіх наявних даних. У комічному аналізі немає проблем, але результат здається дивним, оскільки ми знаємо, що сонце, швидше за все, довго не вибухне. Але ЯК ми це знаємо? Тому що ми провели вимірювання, спостереження та симуляції, які можуть стримувати, коли вибухне сонце. Отже, наші повні знання повинні враховувати ці вимірювання та дані даних.

У байєсівському аналізі це робиться за допомогою цих вимірювань для побудови попереднього (хоча, процедура перетворення вимірювань у попередню недостатньо чітко визначена: в якийсь момент повинен бути початковий попередній, інакше це "черепахи все шлях вниз "). Тож, коли баєсієць використовує свою попередню, він дійсно враховує багато додаткової інформації, до якої часто не піддається аналізу р-значення частофілістів.

Таким чином, щоб залишатися на рівних умовах, повний частолістський аналіз проблеми повинен включати ті самі додаткові дані про вибух сонця, які використовуються для побудови байєсівського попередника. Але, замість того, щоб використовувати пріори, частофіліст просто розширить ймовірність того, що він використовує для включення інших вимірювань, і його р-значення буде розраховано, використовуючи цю повну ймовірність.

$L = L$ (Машина сказала Так | Сонце вибухнуло) * (Усі інші дані про НД | Сонце вибухнуло)$L$

Повний частотний аналіз, швидше за все, покаже, що друга частина ймовірності буде набагато більш обмежувальною і буде домінуючим внеском у розрахунок p-вартості (адже ми маємо багато інформації про Сонце та помилки в цій інформації маленькі (сподіваємось)).

Практично, не потрібно виходити і збирати всі дані даних, отримані за останні 500 років, щоб зробити частістський підрахунок, можна наблизити їх як простий термін вірогідності, що кодує невизначеність того, вибухнуло сонце чи ні. Потім це стане подібним до попереднього байєсівського, але філософськи дещо відрізняється, оскільки це ймовірність, тобто означає, що воно кодує якесь попереднє вимірювання (на відміну від попереднього, яке кодує деяку апріорну віру). Цей новий термін стане частиною вірогідності і буде використовуватися для побудови довірчих інтервалів (або p-значень чи будь-яких інших), на відміну від байєсівського попереднього, який інтегрований для формування достовірних інтервалів або плакатів.

Найбільша проблема, яку я бачу, полягає в тому, що не існує статистичних даних тесту. -значення (з усіма зауваженнями, які байєвські статистики висловлюють проти нього) для значення тестової статистики визначається як (якщо припустити, що нуль відхилено для більших значень , як це було б у випадку зі статистикою , скажімо). Якщо вам потрібно прийняти рішення більш важливого значення, ви можете збільшити критичне значення і просунути область відхилення далі вгору. Ефективно, це те, що роблять кілька виправлень тестування, як Bonferroni, вказуючи вам використовувати набагато нижчий поріг дляt T P r o b [ T ≥ t | Н 0 ] Т χ 2 р 0 , 1 / 36 , 2 / 36 , $p$$t$$T$${\rm Prob}[T \ge t| H_0]$$T$$\chi^2$$p$-значення. Натомість статистик-частик тут застряг із тестами розмірів на сітці .$0, 1/36, 2/36, \ldots$

Звичайно, цей "частістський" підхід є ненауковим, оскільки результат навряд чи буде відтворюваним. Після того, як Сонце переходить наднову, воно залишається надновою, тому детектор повинен постійно і знову говорити "Так". Однак повторний запуск цієї машини навряд чи знову дасть результат "Так". Це визнано в областях, які хочуть представити себе суворими і намагаються відтворити свої експериментальні результати ... що, наскільки я розумію, трапляється з вірогідністю десь між 5% (публікація оригінального документу була чистою помилкою I типу) та десь близько 30-40% в деяких галузях медицини. Люди з мета-аналізу можуть наповнити вас кращими цифрами, це лише той кайф, який час від часу наштовхується на мене через статистику виноградної статистики.

Ще однією проблемою з точки зору "належної" частотистської точки зору є те, що прокатка штампу є найменш потужним випробуванням, що має потужність = рівень значущості (якщо не нижче; 2,7% потужності для рівня значущості 5% - чим похвалитися). Теорія Неймана-Пірсона для t-тестів агонізує над тим, що вона демонструє, що це UMPT, і багато статистичної теорії високих брів (яку я ледве розумію, я повинен визнати) присвячено виведенню кривих потужностей і пошуку умов, коли дана тест є найпотужнішим у даному класі. (Подяки: @Dikran Marsupial згадав про владу в одному з коментарів.)

Я не знаю, чи це вас турбує, але баєсівський статистик тут показаний як хлопець, який не знає математики і має проблеми з азартними іграми. Правильний байєсівський статистик постулював би попереднє, обговорив його ступінь об'єктивності, отримав би заднє та продемонстрував, скільки вони дізналися з даних. Нічого цього не було зроблено, тому байєсівський процес був надто спрощений так само, як часто.

Ця ситуація демонструє класичний скринінг на проблему раку (і я впевнений, що біостатисти можуть описати це краще, ніж я міг). Під час обстеження на рідкісне захворювання з недосконалим інструментом більшість позитивних результатів виявляються помилковими. Розумні статистики це знають, і краще знають, як слідкувати за дешевими та брудними просіювачами з більш дорогими та точними біопсіями.

У цьому коміксі немає нічого поганого, і причина не має нічого спільного зі статистикою. Це економіка. Якщо частофіліст виявиться правильним, Земля буде непридатною для проживання протягом 48 годин. Значення 50 доларів буде фактично недійсним. Байєсийця, визнаючи це, може зробити ставку, знаючи, що його вигода в звичайному випадку становить 50 доларів, і в випадку, коли вибухнуло сонце, незначно нічого.

Тепер, коли CERN вирішив, що нейтрино не швидше світла - фронт удару електромагнітного випромінювання вдарить по землі до того, як буде помічена зміна нейтрино. Це мало б принаймні (в дуже короткому терміні) вражаючі полярні ефекти. Таким чином, факт, що темно, не завадить засвітити небо; Місяць від надмірно яскравого свічення (пор. Ларрі Нівен «Непостійний Місяць») та вражаючі спалахи, оскільки штучні супутники піддавалися випаровуванню та самозайманню.

Загалом - можливо, неправильний тест? (І хоча це можливо було раніше - не було б достатньо часу для реалістичного визначення заднього.

Я погоджуюся з @GeorgeLewis, що може бути передчасно укладений підхід Частотерапевта невірний - давайте просто ще раз повторити детектор нейтрино, щоб зібрати більше даних. Не потрібно возитися з пріорами.

Більш простим моментом, який може бути втрачений серед усіх багатослівних відповідей тут, є те, що частоліст зображується, роблячи свій висновок на основі одного зразка. На практиці ви ніколи цього не зробите.

Досягнення обґрунтованого висновку вимагає статистично значного розміру вибірки (або іншими словами, наука повинна бути повторюваною). Тож на практиці частофіліст запускав автомат кілька разів, а потім дійшов висновку про отримані дані.

Імовірно, це спричинило б запитання машини ще одне і те ж питання ще кілька разів. І, мабуть, якщо машина помиляється лише 1 з кожні 36 разів, з’явиться чітка картина. І з цього шаблону (а не з одного читання) частоліст зробить (досить точний, я б сказав) висновок щодо того, вибухнуло чи ні сонце.

Відповідь на ваше запитання: "чи правильно він застосовує методологію частотистів?" ні, він не застосовує саме частолістський підхід. Значення р для цієї проблеми не є точно 1/36.

Спершу треба зазначити, що пов'язані гіпотези є

Н0: Сонце не вибухнуло,

Н1: Сонце вибухнуло.

Тоді,

p-value = P ("машина повертає так" | сонце не вибухнуло).

Щоб обчислити цю ймовірність, ми маємо зазначити, що «машина повертає так» еквівалентна «детектору нейтрино вимірює вибух Сонця І повідомляє справжній результат АБО детектор нейтрино не вимірює, як Сонце вибухає І лежить нам».

Якщо припустити, що кидання кісток не залежить від вимірювання детектора нейтрино, ми можемо обчислити р-значення, визначивши:

p0 = P ("детектор нейтрино вимірює вибух Сонця" | Сонце не вибухнуло),

Тоді р-значення дорівнює

p-значення = p0 x 35/36 + (1-p0) x 1/36 = (1/36) x (1+ 34 x p0).

Для цієї проблеми р-значення - це число між 1/36 та 35/36. Значення р дорівнює 1/36 тоді і тільки тоді, коли p0 = 0. Тобто в цьому мультфільмі приховане припущення полягає в тому, що машина детектора ніколи не вимірює вибух Сонця, якщо Сонце не вибухнуло.

Більше того, набагато більше інформації слід вкласти у ймовірність зовнішніх доказів вибуху анови.

Все найкраще.

Я не бачу жодних проблем з підходом частоліста. Якщо нульову гіпотезу відхилено, значення р - це ймовірність помилки типу 1. Помилка типу 1 відкидає справжню нульову гіпотезу. У цьому випадку ми маємо р-значення 0,028. Це означає, що серед усіх тестів гіпотез із цим р-значенням, що коли-небудь проводилися, приблизно 3 із сотні відкине справжню нульову гіпотезу. За будівництвом це був би один із таких випадків. Часто погоджуються, що іноді вони відкидають справжню нульову гіпотезу або зберігають помилкову нульову гіпотезу (помилки типу 2), і ніколи не заявляли про інше. Більше того, вони точно оцінюють частоту помилкових висновків у довгостроковій перспективі.

Можливо, менш заплутаним виглядом цього результату є обмін ролями гіпотез. Оскільки дві гіпотези прості, це зробити легко. Якщо нульовим є те, що сонце пішло нове, то значення р дорівнює 35/36 = 0,972. Це означає, що це не є доказом проти гіпотези про те, що сонце пішло новою, тому ми не можемо відкинути його на основі цього результату. Це здається більш розумним. Якщо ви думаєте. Чому хтось припускає, що сонце пішло новою? Я б просив тебе. Навіщо хто-небудь проводити такий експеримент, якщо сама думка про вибух сонця здається смішною?

Я думаю, що це лише показує, що треба заздалегідь оцінити корисність експерименту. Наприклад, цей експеримент був би абсолютно марним, оскільки він перевіряє те, що ми вже знаємо, просто дивлячись у небо (Я впевнений, що це значення, що фактично дорівнює нулю). Розробка хорошого експерименту - це вимога до отримання доброї науки. Якщо ваш експеримент погано розроблений, то незалежно від того, яким інструментом статистичного висновку ви користуєтесь, ваші результати навряд чи будуть корисними.

Як інтегрувати «попередні знання» про стійкість до сонця у методологію частотистів?

Дуже цікава тема.

Ось лише кілька думок, а не ідеальний аналіз ...

Використання байєсівського підходу з неінформативним попереднім типово дає статистичний висновок, порівнянний з частофілістським.

Чому у байесівців є сильна попередня думка, що сонце не вибухнуло? Тому що він знає, як усі, що сонце ніколи не вибухало з його початку.

На деяких простих статистичних моделях з кон'югованими пріорами ми бачимо, що використання попереднього розподілу еквівалентно використанню заднього розподілу, отриманого від неінформативного попереднього та попереднього експериментів.

Сказане вище говорить про те, що частотант повинен зробити висновок як байєсівський, включивши в свою модель результати попередніх експериментів. Ось що насправді робить Байєс : його попереднє походить від його знань попередніх експериментів!

$N$$x_i$$i$$x_i$$\theta$$x_i$$x_i=1$$i =1,\ldots,N$

$N+1$$x_i$$y=\{\text{Yes}\}$$\Pr(x_{N+1}=0)$θ x 1 , … , x N y 1 N y = { Так } θ $\theta$$\theta$$x_1, \ldots, x_N$$y$$1$$N$$y=\{\text{Yes}\}$$\theta$. І баєсійський має намір відобразити цю інформацію через попереднє розповсюдження про .$\theta$

З цього погляду я не бачу, як перефразовувати питання з точки зору тестування гіпотез. Прийняття не має сенсу, тому що це можливе питання експерименту в моїй інтерпретації, а не правдива / хибна гіпотеза. Можливо, це помилка Частота?$H_0 =\{\text{the sun has not exploded}\}$

Це, звичайно, часто-тестовий тест на рівні 0,05 - нульова гіпотеза відхиляється менше ніж 5% часу під нульовою гіпотезою і навіть потужність під альтернативою є великою.

З іншого боку, попередня інформація говорить нам про те, що сонце, яке заходить наднову в певний момент часу, є малоймовірним, але випадково отримати брехню випадково.

Підсумок: з комічним насправді немає нічого поганого, і це свідчить про те, що тестування неправдоподібних гіпотез призводить до високих помилок виявлення. Крім того, ви, мабуть, хочете врахувати попередню інформацію при оцінці запропонованих ставок - саме тому байєсівський задник у поєднанні з аналізом рішень настільки популярний.

На мій погляд, більш правильним частотистським аналізом було б таке: H0: Сонце вибухнуло, і машина говорить правду. Н1: Сонце не вибухнуло і машина лежить.

Значення р тут = P (сонечко вибухнуло). p (машина говорить правду) = 0,97. P (вибухнуло сонце)

Статистик нічого не може зробити, не знаючи природи другої ймовірності.

Хоча ми знаємо, що P (вибухнуло сонце) дорівнює 0, тому що сонце, як зірки, не вибухає у наднови.