Порівнюючи 0/10 до 0/20

Обговорюючи рівень виконання завдань, чи є спосіб показати, що 0 з 20 спроб "гірше", ніж 0 з 10 спроб?

probability sampling

— вінне
джерело

Ви можете спробувати використати en.wikipedia.org/wiki/Additive_smoothing, але це буде скоріше махати руками, ніж твердий доказ

— abukaj

Звідки ти знаєш, що це гірше? Наприклад, якби було можливо лише 10 спроб, то ви не знаєте, який би був рахунок з більшою кількістю спроб.

— Тім

Можливо, довірчий інтервал для розрахункової пропорції?

— mdewey

Це здається мені розумним питанням. Він заснований на абсолютно нормальній інтуїції, яку можна обговорити, і є статистичні способи (наприклад, байєсівський) для вирішення проблеми. Я голосую, щоб залишити відкритим.

— gung - Відновити Моніку

Я згоден з @gung. Це гарне запитання.

— Олексій

Відповіді:

Припустимо, ми знаємо ймовірність успіху в спробі. У цьому випадку ми обчислюємо ймовірність 0 з 10 та 0 із 20 випадків.

Однак у цьому випадку ми підемо навпаки. Ми не знаємо ймовірності, у нас є дані і ми намагаємось оцінити ймовірність.

Чим більше випадків у нас, тим більш впевненими ми можемо бути щодо результатів. Якщо я перекину монету, і це буде голова, ви не будете дуже впевнені, що це двічі. Якщо я кину його 1000 разів, і це будуть всі голови, навряд чи це буде врівноважено.

Існують методи, розроблені з метою врахування кількості стежок при дачі оцінок. Один з них - добавка згладжування, яке @abukaj коментує вище. При адитивному згладжуванні ми враховуємо додаткові псевдопроби. У нашому випадку замість того, який ми бачили, ми додаємо ще два - один успішний та один невдалий.

У першому випадку згладжена ймовірність буде = ~ 8.3% $\frac{1+0}{10 +1 +1}$ $\frac{1}{12}$
У другому випадку отримаємо = ~ 4,5% $\frac{1+0}{20 +1 +1}$ $\frac{1}{22}$

Зауважимо, що присадка згладжування - це лише один метод оцінки. Ви отримаєте різні результати за допомогою різних методів. Навіть при самому згладжуванні добавки ви мали б різні результати, якби додали 4 псевдопроби.

Іншим методом є використання інтервалу довіри, як запропонував @mdewey. Чим більше зразків у нас, тим коротший буде довірчий інтервал. Розмір довірчого інтервалу пропорційний квадратному кореню зразків - . Тому подвоєння кількості зразків призведе до скорочення довіри . $\frac{1}{\sqrt{n}}$ $\sqrt{2}$

Середнє значення в обох випадках дорівнює 0. Це ми беремо рівень довіри 90% (z = 1.645)

У першому випадку ми отримаємо 0 + ~ 52% $\frac{1.645}{\sqrt{10}}$
У другому випадку ми отримаємо 0 + ~ 36% $\frac{1.645}{\sqrt{20}}$

У разі відсутності даних виникає невизначеність. Припущення, які ви робите, і зовнішні дані, які ви будете використовувати, змінить те, що ви отримаєте.

— ДаЛ
джерело

Дуже дякую Ден Левін. Ваша відповідь була достатньо чіткою для того, щоб наслідувати не математик, і все ж досить надійною для мене, щоб інтуїтивно прийняти ваше пояснення. Дякую всім коментаторам за ваш внесок.

— vinne

Розширюючи ідею виклику довірчих інтервалів, існує концепція точного біноміального інтервалу.

Біноміальний розподіл - це загальна кількість успіхів у незалежних випробуваннях, які закінчуються або 0 (невдача), або 1 (успіх). Імовірність отримання 1 (успіху) традиційно позначається , а його доповнення дорівнює . Тоді типовим результатом ймовірності є те, що ймовірність точно успіхів у випробуваннях є $p$ $q=1-p$ $k$ $n$

p_{n, k} = (\binom{n}{k}) p^{k} q^{n - k} = \frac{n!}{k! (n - k)!} p^{k} q^{n - k}

$p_{n,k} = {n \choose k} p^k q^{n-k} = \frac{n!}{k!(n-k)!} p^k q^{n-k}$

Концепція довірчого інтервалу полягає в обмеженні набору можливих значень параметрів моделі (тут, ймовірності успіху ), щоб ми могли робити імовірнісні (ну, частостістські ) твердження про те, чи справжнє значення параметра знаходиться всередині цього інтервалу (а саме , якщо ми повторимо ймовірнісний експеримент проведення 10 або 20 випробувань і побудуємо довірчий інтервал певним чином, ми будемо спостерігати, що справжнє значення параметра знаходиться всередині інтервалу 95% часу). $p$

У цьому випадку ми можемо вирішити для у цій формулі: $p$

p_{n, 0} = (1 - p)^{n}

$p_{n,0}=(1-p)^n$

Отже, якби ми хотіли одностороннього інтервалу 95%, ми встановимо щоб вирішити, що ймовірність того, що спостерігається нульовий підрахунок, буде не більше 5%. Для відповідь - (тобто на крайній випадок, якщо ймовірність успіху в кожному дослідженні становить 13,9%, то ймовірність спостереження за нульовими успіхами становить 5%). За відповідь - . Тож із вибірки ми дізналися більше, ніж із вибірки , в тому сенсі, що ми можемо `` виключити '' діапазон що вибірка все ще залишає як правдоподібне. $p_{n,0}=5\%$ $n=20$ $[0\%,13.9\%]$ $n=10$ $[0\%,25.9\%]$ $n=20$ $n=10$ $[13.9\%,25.9\%]$ $n=10$

— СтасК
джерело

Байєсівський підхід

Нехай для - ряд IID випадкових змінних Бернуллі з параметром . $X_i$ $i=1,\ldots n$ $p$
Представимо нашу невизначеність параметра , припустивши, що він відповідає розподілу Бета з гіперпараметрами та . $p$ $\alpha$ $\beta$

Функція ймовірності - це Бернуллі, а бета-розподіл є кон'югатом, що передує розподілу Бернуллі, отже, задній слід за розподілом Бета. Крім того, задність параметризується:

\hat{α} = α + \sum_{i = 1}^{n} X_{i} \hat{β} = β + n - \sum_{i = 1}^{n} X_{i}

$\hat{\alpha} = \alpha + \sum_{i=1}^n X_i \quad \quad \hat{\beta} = \beta + n - \sum_{i=1}^n X_i$

Отже:

\begin{aligned} E [p ∣ X_{1}, \dots, X_{n}] & = \frac{\hat{α}}{\hat{α} + \hat{β}} \\ = \frac{α + \sum_{i = 1}^{n} X_{i}}{α + β + n} \end{aligned}

$\begin{align*} \mathrm{E}[p \mid X_1, \ldots, X_n] &= \frac{\hat{\alpha}}{\hat{\alpha} + \hat{\beta}}\\ &= \frac{\alpha + \sum_{i=1}^n X_i }{\alpha + \beta + n} \end{align*}$

Таким чином, якщо ви бачите 10 відмов, ваше очікування дорівнює , а якщо ви бачите 20 збоїв, ваше очікування - . Чим більше невдач ви побачите, тим нижче ваші очікування . $p$ $\frac{\alpha}{\alpha + \beta + 10}$ $p$ $\frac{\alpha}{\alpha + \beta + 20}$ $p$

Це розумний аргумент? Це залежить від того, як ви ставитеся до статистики Баєса, чи готові ви моделювати невизначеність щодо якогось параметра використовуючи механіку ймовірності. І це залежить від того, наскільки розумний ваш вибір попереднього. $p$

— Меттью Ганн
джерело