Чому цей розподіл рівномірний?

Ми досліджуємо байєсівські статистичні випробування, і натрапимо на дивне (на мене принаймні) явище.

Розглянемо наступний випадок: нас цікавить вимірювання того, яке населення, А чи В, має більш високий коефіцієнт конверсії. Для перевірки встановлюємо , тобто ймовірність конверсії однакова в обох групах. Ми створюємо штучні дані за допомогою біноміальної моделі, наприклад$p_A = p_B$

Потім ми намагаємося оцінити за допомогою байєсівської бета-біноміальної моделі, тому ми отримуємо для кожного коефіцієнта перетворення, наприклад,$p_A, p_B$

Наша тестова статистика обчислюється шляхом обчислення через monte carlo.$S = P(P_A > P_B\; |\; N, n_A, n_B)$

Мене здивувало те, що якщо , то . Мої думки полягали в тому, що вона буде зосереджена приблизно на 0,5 і навіть збільшиться до 0,5, оскільки розмір вибірки, , зростає. $p_A = p_B$$S \sim \text{Uniform(0,1)}$$N$

Моє запитання: чому коли ?p A = p $S \sim \text{Uniform(0,1)}$$p_A = p_B$

Ось декілька кодів Python для демонстрації:

%pylab
from scipy.stats import beta
import numpy as np
import pylab as P

a = b = 0.5
N = 10000
samples = [] #collects the values of S
for i in range(5000):
    assert a==b
    A = np.random.binomial(N, a); B = np.random.binomial(N, b)
    S = (beta.rvs(A+1, N-A+1, size=15000) > beta.rvs(B+1, N-B+1, size=15000)).mean() 
    samples.append(S)

P.hist(samples)
P.show()

TL; DR: Суміші звичайних розподілів можуть виглядати рівномірно, коли розміри контейнерів великі.

Ця відповідь запозичує зразок коду @ whuber (який я вважав спочатку помилкою, але в ретроспективі, мабуть, натяк).

Основоположні пропорції в популяції рівні: a = b = 0.5.
Кожна група, А і В мають 10000 членів: N = 10000.
Ми будемо проводити 5000 повторів моделювання: for i in range(5000):.

На насправді, що ми робимо це з . У кожному з 5000 ітерацій ми зробимо . s i m u l a t i o n u n d e r l y i n g s i m u l a t i o n p r i m e s i m u l a t i o n $\rm simulation_\rm{prime}$$\rm simulation_\rm{underlying}$$\rm simulation_\rm{prime}$$\rm simulation_\rm{underlying}$

У кожній ітерації ми будемо моделювати випадкове число А і В , які є «успіхами» (АКА перетворена) , дані , що лежать в основі рівних пропорцій , визначені раніше: . Номінально це дасть A = 5000 та B = 5000, але A і B змінюються від sim run до sim run та розподіляються по 5000 циклів моделювання незалежно та (приблизно) нормально (ми повернемось до цього).$\rm simulation_\rm{prime}$A = np.random.binomial(N, a); B = np.random.binomial(N, b)

Давайте тепер переглянемо для єдиної ітерації в якій A і B отримали рівну кількість успіхів (як це буде середній випадок). У кожній ітерації ми, задавши A і B, створимо випадкові величини бета-розподілу для кожної групи. Тоді ми порівняємо їх і з’ясуємо, чи , даючи ПРАВИЛЬНУ або (1 або 0). Наприкінці запуску ми виконали 15000 ітерацій та маємо 15000 значень TRUE / FALSE. Середнє значення цих показників дасть єдине значення з (приблизно нормального) розподілу вибірки на частку s i m u l a t i o n p r i m e s i m u l a t i o n u n d e r l y i n g B e t a A$\rm simulation_\rm {underlying}$$\rm simulation_\rm{prime}$$\rm simulation_\rm{underlying}$ simulatio n u n d e r l y i n g B e t a A > B e t a${\rm Beta}_A > {\rm Beta}_B$$\rm simulation_\rm {underlying}$${\rm Beta}_A > {\rm Beta}_B$ .

За винятком того, що зараз вибере 5000 значень A і B. A і B рідко будуть абсолютно рівними, але типові відмінності в кількості успіхів A і B спотворюються на загальний розмір вибірки A і B. Типовий As і B отримає більше витягів від їх вибіркового розподілу пропорцій , але ті, що знаходяться на краях розподілу A / B, також будуть витягнуті.B e t a A > B e t a$\rm simulation_\rm{prime}$${\rm Beta}_A > {\rm Beta}_B$

Отже, що по суті ми перетягуємо на багато сим-прогонів - це комбінація розподілу вибірки для комбінацій A і B (з більшою кількістю витягів із розподілу вибірки, зроблених із загальних значень A і B, ніж нечасті значення A і B). Це призводить до отримання сумішей нормального розподілу. Якщо ви комбінуєте їх за невеликим розміром біна (як це за замовчуванням для функції гістограми, яку ви використовували, і була вказана безпосередньо у вихідному коді), ви отримуєте щось, схоже на рівномірний розподіл.${\rm Beta}_A > {\rm Beta}_B$

Поміркуйте:

a = b = 0.5
N = 10
samples = [] #collects the values of S
for i in range(5000):
    assert a==b
    A = np.random.binomial(N, a); B = np.random.binomial(N, b)
    S = (beta.rvs(A+1, N-A+1, size=15000) > beta.rvs(B+1, N-B+1, size=15000)).mean() 
    samples.append(S)

P.hist(samples,1000)
P.show()

Щоб отримати деяку інтуїцію щодо того, що відбувається, давайте сміливо зробимо дуже великим і, тим самим, ігноруючи поведінку та використовуючи асимптотичні теореми, які заявляють, що і бета-і біноміальні розподіли стають приблизно нормальними. (З деякими неприємностями, все це може бути зроблено суворо.) Коли ми це робимо, результат виходить із конкретного співвідношення між різними параметрами.O ( 1 / N $N$$O(1/N)$

Оскільки ми плануємо використовувати Нормальне наближення, ми звернемо увагу на очікування та відхилення змінних:

• Як біноміальний змінні, і є очікування і дисперсії з . Отже і є очікування і дисперсією .n A n B p N p ( 1 - p ) N α = n A / N β = n B / N p p ( 1 - p ) /$(N, p)$$n_A$$n_B$$pN$$p(1-p)N$$\alpha=n_A/N$$\beta=n_B/N$$p$$p(1-p)/N$

• Як бета-версія , має очікування та дисперсію . , ми виявимо, що очікуєP A ( n A + 1 ) / ( N + 2 ) ( n A + 1 ) ( N + 1 - n A ) / [ ( N + 2 ) 2 ( N + 3 ) ] P $(n_A+1, N+1-n_A)$$P_A$$(n_A+1)/(N+2)$$(n_A+1)(N+1-n_A) / [(N+2)^2(N+3)]$$P_A$

  $$\mathbb{E}(P_A) = \alpha+O(1/N)$$

  і дисперсія

  $$\text{Var}(P_A) = \alpha(1-\alpha)/N + O(1/N^2),$$

  з аналогічними результатами для .$P_B$

Отже, наблизимо розподіли і P B з нормальними ( α , α ( 1 - α ) / N ) та нормальними ( β , β ( 1 - β ) / N )) (де другий параметр позначає дисперсію ) . Отже, розподіл P A - P B приблизно нормальний; а саме,$P_A$$P_B$$(\alpha, \alpha(1-\alpha)/N)$$(\beta,\beta(1-\beta)/N)$$P_A-P_B$

Для дуже великих вираз α ( 1 - α ) + β ( 1 - β ) не помітно відрізнятиметься від p ( 1 - p ) + p ( 1 - p ) = 2 p ( 1 - p ), за винятком дуже низького ймовірність (інший знехтуваний термін O ( 1 / N ) ). Відповідно, якщо Φ є стандартним нормальним CDF,$N$$\alpha(1-\alpha) + \beta(1-\beta)$$p(1-p)+p(1-p)=2p(1-p)$$O(1/N)$$\Phi$

Але оскільки має нульове середнє значення, а дисперсія 2 p ( 1 - p ) / N , Z = α - $\alpha-\beta$$2p(1-p)/N,$ - це стандартна нормальна змінна (принаймні приблизно). Φ- йогоінтегральне перетворення ймовірності; Φ(Z)єоднорідним.$Z=\frac{\alpha-\beta}{\sqrt{2p(1-p)/N}}$$\Phi$$\Phi(Z)$