Статистичний аргумент, чому 10 000 голів з 20 000 кидок свідчить про невірні дані

Скажімо, ми неодноразово кидаємо справедливу монету, і ми знаємо, що кількість головок і хвостів повинна бути приблизно однаковою. Коли ми бачимо такий результат, як 10 голів та 10 хвостів на загальну кількість 20 кидок, ми вважаємо результати та схильні вірити, що монета є справедливою.

Що ж, коли ви бачите такий результат, як 10000 голів та 10000 хвостів на загальну суму 20000 кидків, я насправді поставив би під сумнів достовірність результату (чи експериментатор підробив дані), оскільки я знаю, що це скоріше, ніж, скажімо, результат 10093 голови та 9907 хвостів.

Який статистичний аргумент стоїть за моєю інтуїцією?

Якщо припустити справедливу монету, результат 10000 голів і 10000 хвостів насправді скоріше, ніж результат 10093 голів і 9907 хвостів.

Однак, коли ви говорите, що справжній експериментатор навряд чи отримає рівну кількість головок і хвостів, ви неявно посилаєтесь на теорему Байєса. Ваша попередня думка щодо реального експерименту полягає в тому, що Проб (кількість головок = 10000 в 20000 кидках | враховуючи, що експериментатор не підробляє) близький до 0. Таким чином, коли ви бачите фактичний результат, що "Без голови = 10000" ваш задній про Проб (експериментатор не підробляє | спостерігається результат 10000 голів) також близький до 0. Таким чином, ви робите висновок, що експериментатор підробляє дані.

Мені подобається пояснення Сріканта, і я думаю, що байєсівська ідея - це, мабуть, найкращий спосіб підійти до подібної проблеми. Але ось ще один спосіб побачити це без Байєса: (в R)

dbinom(10, size = 20, prob = 0.5)/dbinom(10000, 20000, 0.5)

що становить приблизно 31,2 в моїй системі. Іншими словами, в 30 разів більше шансів побачити 10 з 20, ніж 10 000 з 20 000, навіть у справедливій монеті в обох випадках. Це співвідношення зростає без обмежень у міру збільшення розміру вибірки.

Це свого роду підхід співвідношення ймовірності, але, знову ж таки, в моєму кишечнику це відчуває, що байєсівський суд закликає більше, ніж усе інше.

Суб'єктивістів байесовский аргумент є практично єдиним способом (з точки зору статистики) ви могли б йти про розуміння вашої інтуїції , яка - власне кажучи - питання про проведення психологічного дослідження, а НЕ статистичні один. Однак, явно несправедливо - і тому недійсно - використовувати баєсовський підхід, щоб стверджувати, що слідчий підробив дані. Логіка цього ідеально кругла: воно зводиться до того, щоб сказати, "грунтуючись на моїх попередніх переконаннях про результат, я вважаю ваш результат неймовірним, і тому ви, мабуть , обдурили". Такий нелогічний корисливий аргумент, очевидно, не протистоятиме ні в залі суду, ні в процесі експертної перевірки.

$\alpha$= 5% рівень розглядав би будь-який результат між 9 996 та 10 004 як підозрюваний, оскільки (а) ця колекція близька до наших гіпотезованих "підроблених" результатів та (б) під нікчемною гіпотезою про відсутність фальшивок (невинних, поки не буде доведено вину у суді!) , результат у цьому діапазоні має лише 5% (фактично 5.07426%) шанс виникнення. Крім того, ми можемо поставити цей, здавалося б, ad hoc підхід у контексті хі-квадрата (а-ля Фішер), просто порівнюючи відхилення між спостережуваною пропорцією і очікуваною пропорцією, а потім посилатися на лемму Неймана-Пірсона в односхилому тесті низький хвіст і застосовуючи нормальне наближення до розподілу біномів .

Хоча такий тест не може довести фальсифікацію, він може бути застосований до майбутніх звітів цього експериментатора, щоб оцінити правдоподібність їхніх тверджень, не роблячи несприятливих і непідтверджених припущень, заснованих на вашій інтуїції. Це набагато справедливіше і суворіше, ніж звертатися до байєсівського аргументу, щоб в’язати когось, хто може бути абсолютно невинним і просто трапився таким нещасливим, що вони отримали прекрасний експериментальний результат!

Я думаю, що ваша інтуїція є хибною. Здається, ви неявно порівнюєте один, "особливий" результат (рівно 10000 голів) з набором безлічі результатів (усі "неспеціальні" числа голів близькі до 10000). Однак визначення "особливого" - це довільний вибір, заснований на нашій психології. Як щодо двійкових 10000000000000 (десяткової 8192) або Hex ABC (десяткової 2748) - це також буде підозріло особливим? Як коментує Йоріс Мейс, аргумент Байєса був би по суті однаковим для будь-якої однієї кількості голів, маючи на увазі, що кожен результат буде сумнівним.

Щоб трохи розширити аргумент: ви хочете перевірити гіпотезу ("експериментатор підробляє"), а потім вибираєте тестову статистику (кількість головок). Тепер, чи підходить ця тестова статистика, щоб розповісти щось про вашу гіпотезу? Мені здається, обрана тестова статистика не є інформативною (не є функцією параметра, визначеного як фіксоване значення в гіпотезі). Це повертається до питання, що ви маєте на увазі під "обманом". Якщо це означає, що експериментатор контролює монету за бажанням, то це не відображається в тестовій статистиці. Я думаю, що вам потрібно бути більш точним, щоб знайти кількісно вимірюваний показник, і, таким чином, зробити питання придатним до статистичного тесту.

Висновок, який ви робите, буде ДУЖЕ залежним від попереднього вибору ймовірності обману та попередньої ймовірності того, що, враховуючи, що фліппер бреше, повідомляються х голови.

Надання найбільшої маси на P (10000 голів, що повідомляються | лежачи), на мою думку, трохи не інтуїтивно зрозуміло. Якщо репортер не є наївним, я не можу уявити, щоб хтось повідомляв про подібні фальсифіковані дані (значною мірою з причин, про які ви згадали в первісному дописі; це занадто підозріло для більшості людей). фальсифіковані дані, то я вважаю, що більш розумним (і дуже приблизним) до попередніх результатів може бути дискретна рівномірність до P (X голів, що повідомляються | лежачи) = 1/201 для цілих чисел {9900, ..., 10100} і P (x головки, про які повідомляється | лежачи) = 0 для всіх інших x. Припустимо, ви вважаєте, що попередня ймовірність брехні становить 0,5. Тоді деякі задні ймовірності:

P (лежачи | 9900 голів, що повідомляються) = P (лежачи | 10100 голів, повідомлено) = 0,70;

P (лежачи | 9950 голів повідомляється) = P (лежачи | 10050 голів повідомляється) = 0,54;

Р (лежачи | 10000 голів повідомляється) = 0,47.

Більшість розумних кількостей повідомлених голів із справедливої ​​монети призведе до підозри. Тільки щоб показати, наскільки чутливими є задні ймовірності до ваших пріорів, якщо попередня ймовірність обману знизиться до 0,10, то задні ймовірності стають:

P (лежачи | 9900 голів, що повідомляються) = P (лежачи | 10100 голів, що повідомляються) = 0,21;

P (лежачи | 9950 голів, що повідомляються) = P (лежачи | 10050 голів, що повідомляються) = 0,11;

Р (лежачи | 10000 голів, повідомлено) = 0,09.

Тому я думаю, що оригінал (і високо оцінений відповідь) можна було б трохи розширити; ні в якому разі не слід робити висновок, що дані підроблені, не ретельно враховуючи попередню інформацію. Крім того, думаючи про це інтуїтивно, здається, що на задню ймовірність брехні, швидше за все, впливатиме попередня ймовірність брехні, а не попередній розподіл голів, про який повідомляється, враховуючи, що фліппер бреше (крім пріорів, які ставлять усіх їхня маса на невеликій кількості голів, про які повідомляється, що фліппер бреше, як у моєму прикладі.)

Для пояснення Байєса потрібен попередній розподіл ймовірностей за повідомленими результатами за допомогою лежачої монети ласти, а також попередня ймовірність брехні. Коли ви бачите значення, яке є набагато більш імовірним при лежачому розподілі, ніж випадкове перевертання, це робить вашу задню ймовірність брехні набагато вищою.