Перевірте, чи два біноміальних розподіли статистично відрізняються один від одного

У мене є три групи даних, кожна з біноміальним розподілом (тобто кожна група має елементи, що мають успіх чи невдачу). У мене немає передбачуваної ймовірності успіху, але натомість я можу розраховувати лише на рівень успішності кожного як наближення до справжнього показника успіху. Я лише знайшов це питання , яке є близьким, але, схоже, не відповідає саме цьому сценарію.

Щоб спростити тест, скажімо, що у мене є 2 групи (3 можна розширити з цього базового випадку).

• Випробування групи 1: = 2455$n_1$
• Випробування групи 2: = 2730$n_2$

• Успіх 1 групи: = 1556$k_1$
• Успіх 2 групи: = 1671$k_2$

Я не маю очікуваної ймовірності успіху, лише те, що я знаю з зразків. Тож мій мається на увазі рівень успішності для двох груп:

• Коефіцієнт успішності 1 групи: = 1556/2455 = 63,4%$p_1$
• Коефіцієнт успішності 2 групи: $p_2$ = 1671/2730 = 61,2%

Коефіцієнт успішності кожного зразка досить близький. Однак розміри моїх зразків також досить великі. Якщо я перевіряю CDF біноміального розподілу, щоб побачити, наскільки він відрізняється від першого (де я припускаю, що перший є нульовим тестом), я отримую дуже малу ймовірність того, що другого вдасться досягти.

В Excel:

1-BINOM.DIST (1556,2455,61,2%, ІСТИНА) = 0,012

Однак це не враховує жодної дисперсії першого результату, вона просто передбачає, що перший результат - це ймовірність тесту.

Чи є кращий спосіб перевірити, чи справді ці два зразки даних статистично відрізняються один від одного?

Рішення - простий google: http://en.wikipedia.org/wiki/Statistic_hypothesis_testing

Отже, ви хочете перевірити наступну нульову гіпотезу щодо даної альтернативи

проти H A : p 1 ≠ p $H_0:p_1=p_2$$H_A:p_1\neq p_2$

Тож вам просто потрібно обчислити тестову статистику, яка є

де р = п 1 р 1 + п 2 р 2 . $\hat p=\frac{n_1\hat p_1+n_2\hat p_2}{n_1+n_2}$

Так що тепер, у вашій , р 2 = 0,612 , п 1 = 2455 і п 2 = $\hat p_1=.634$$\hat p_2=.612$$n_1=2455$$n_2=2730.$

Після підрахунку статистики тесту вам просто потрібно обчислити відповідне значення критичної області для порівняння вашої статистики тесту. Наприклад, якщо ви тестуєте цю гіпотезу на рівні 95% достовірності, вам потрібно порівняти свою статистику тесту з критичною величиною області (для цього двох тестових тестів).$z_{\alpha/2}=1.96$

Тепер, якщо то ви можете відхилити нульову гіпотезу, інакше вам не вдасться відкинути нульову гіпотезу. $z>z_{\alpha/2}$

Добре це рішення працює для випадку, коли ви порівнюєте дві групи, але це не узагальнює випадку, коли ви хочете порівняти 3 групи.

Однак ви можете використати тест Chi Squared, щоб перевірити, чи всі три групи мають рівні пропорції, як запропонував @Eric у своєму коментарі вище: "Чи допомагає це питання? Stats.stackexchange.com/questions/25299/… - Ерік"

In R the answer is calculated as:

fisher.test(rbind(c(1556,2455-1556), c(1671,2730-1671)), alternative="less")

Just a summary:

Dan and Abaumann's answers suggest testing under a binomial model where the null hypothesis is a unified single binomial model with its mean estimated from the empirical data. Their answers are correct in theory but they need approximation using normal distribution since the distribution of test statistic does not exactly follow Normal distribution. Therefore, it's only correct for a large sample size.

But David's answer is indicating a nonparametric test using Fisher's test.The information is here: https://en.wikipedia.org/wiki/Fisher%27s_exact_test And it can be applied to small sample sizes but hard to calculate for big sample sizes.

Which test to use and how much you trust your p-value is a mystery. But there are always biases in whichever test to choose.

Your test statistic is $Z = \frac{\hat{p_1}-\hat{p_2}}{\sqrt{\hat{p}(1-\hat{p})(1/n_1+1/n_2)}}$, where $\hat{p}=\frac{n_1\hat{p_1}+n_2\hat{p_2}}{n_1+n_2}$.

The critical regions are $Z > \Phi^{-1}(1-\alpha/2)$ and $Z<\Phi^{-1}(\alpha/2)$ for the two-tailed test with the usual adjustments for a one-tailed test.

In Python, statsmodels has a function called proportions_ztest. Here is an example of its usage:

import statsmodels.api as sm
import numpy as np
import rpy2.robjects.packages as rpackages
import rpy2.robjects as robjects
rstats = rpackages.importr('stats')

s1 = 1556
n1 = 2455

s2 = 1671
n2 = 2730

# manual calculation
p1 = s1 / n1
p2 = s2 / n2
p = (s1 + s2) / (n1 + n2)

z = (p1 - p2) / (p*(1-p)*((1/n1)+(1/n2)))**0.5

# using R in Python with rpy2
rmatrix = robjects.r.matrix(robjects.IntVector([s1, n1-s1, s2,n2-s2]), nrow=2)
fisher_test = rstats.fisher_test(rmatrix, alternative="two.sided")

zscore, pval = sm.stats.proportions_ztest([s1, s2], [n1, n2], alternative='two-sided')

print('Manual calculation of z: {:.6f}'.format(z))
print('Z-score from statsmodels: {:.6f}'.format(zscore))
print('R pvalue from fisher.test: {:.6f}'.format(fisher_test[0][0]))
print('Statsmodels pvalue: {:.6f}'.format(pval))

This prints out:

Manual calculation of z: 1.610825
Z-score from statsmodels: 1.610825
R pvalue from fisher.test: 0.108268
Statsmodels pvalue: 0.107218

Original post: Dan's answer is actually incorrect, not to offend anyone. A z-test is used only if your data follows a standard normal distribution. In this case, your data follows a binomial distribution, therefore a use a chi-squared test if your sample is large or fisher's test if your sample is small.

Edit: My mistake, apologies to @Dan. A z-test is valid here if your variables are independent. If this assumption is not met or unknown, a z-test may be invalid.