На якому рівні тест

Передумови: Пропустити безпечно - це тут для довідки та узаконити питання.

У відкритті цього документу написано:

"Знаменитий тест на випадок надзвичайної ситуації Карла Пірсона отриманий з іншої статистики, званої z статистикою z, заснованої на нормальному розподілі. Найпростіші версії $\chi^2$ можуть бути математично ідентичні еквівалентним z тестам. Тести дають той же результат за будь-яких обставин. Для всіх намірів і цілей «чі-квадрат» можна назвати «z-квадрат». Критичними значеннями $\chi^2$ для одного ступеня свободи є квадрат відповідних критичних значень z ».

Про це неодноразово стверджувалося в резюме ( тут , тут , тут та інших).

І справді ми можемо довести, що еквівалентноз: $\chi^2_{1\,df}$ $X^2$ $X\sim N(0,1)$

Скажімо, що і що і знайдемо щільність за допомогою методу : $X \sim N(0,1)$ $Y=X^2$ $Y$ $cdf$

. Проблема полягає в тому, що ми не можемо в тісній формі інтегрувати щільність нормального розподілу. Але ми можемо це висловити: $p(Y \leq y) = p(X^2 \leq y)= p(-\sqrt{y} \leq x \leq \sqrt{y})$

Прийняття похідної:

F_{X} (y) = F_{X} (\sqrt{y}) - F_{X} (- \sqrt{y}) .

$F_X(y) = F_X(\sqrt{y})- F_X(-\sqrt[]{y}).$

f_{X} (y) = F_{X}^{'} (\sqrt{y}) \frac{1}{2 \sqrt{y}} + F_{X}^{'} (\sqrt{- y}) \frac{1}{2 \sqrt{y}} .

$f_X(y)= F_X'(\sqrt{y})\,\frac{1}{2\sqrt{y}}+ F_X'(\sqrt{-y})\,\frac{1}{2\sqrt{y}}.$

Оскільки значення нормального є симетричними: $pdf$

. Прирівнюючи це довід нормального (теперубуде $f_X(y)= F_X'(\sqrt{y})\,\frac{1}{\sqrt{y}}$ $pdf$ $x$ $pdf$ підключено до $\sqrt{y}$ частина нормальної); і запам'ятовування в включити $e^{-\frac{x^2}{2}}$ $pdf$ в кінці: $\frac{1}{\sqrt{y}}$

f_{X} (y) = F_{X}^{'} (\sqrt{y}) \frac{1}{\sqrt{y}} = \frac{1}{\sqrt{2 π}} e^{- \frac{y}{2}} \frac{1}{\sqrt{y}} = \frac{1}{\sqrt{2 π}} e^{- \frac{y}{2}} y^{\frac{1}{2} - 1}

$f_X(y)= F_X'(\sqrt[]{y})\,\frac{1}{\sqrt[]{y}}= \frac{1}{\sqrt{2\pi}}\,e^{-\frac{y}{2}}\, \frac{1}{\sqrt[]{y}}=\frac{1}{\sqrt{2\pi}}\,e^{-\frac{y}{2}}\, y^{\frac{1}{2}- 1}$

Порівняйте з pdf квадрата чі:

f_{X} (x) = \frac{1}{2^{ν / 2} Γ (\frac{ν}{2})} e^{\frac{- x}{2}} x^{\frac{ν}{2} - 1}

$f_X(x)= \frac{1}{2^{\nu/2}\Gamma(\frac{\nu}{2})}e^{\frac{-x}{2}}x^{\frac{\nu}{2}-1}$

Так як , дляdf ми отримали саме те $\Gamma(1/2)=\sqrt{\pi}$ $1$ квадрата chi. $pdf$

Далі, якщо ми викликаємо функцію prop.test()в R , ми викликаємо ту саму тест як ніби ми вирішили. $\chi^2$ chisq.test()

ПИТАННЯ:

Тому я отримую всі ці моменти, але я досі не знаю, як вони застосовуються до фактичної реалізації цих двох тестів з двох причин:

Z-тест не має квадрата.
Фактична статистика тестів зовсім інша:

Значення тестової статистики для $\chi^2$ дорівнює:

$\chi^2 = \sum_{i=1}^{n} \frac{(O_i - E_i)^2}{E_i} = N \sum_{i=1}^n p_i \left(\frac{O_i/N - p_i}{p_i}\right)^2$ де

= кумулятивна статистика Пірсона, яка асимптотично наближається дорозподілу . = кількість спостережень типу ; = загальна кількість спостережень; = = очікувана (теоретична) частота типу , що стверджується нульовою гіпотезою, що частка типу в сукупності становить ; = кількість комірок у таблиці. $\chi^2$ $\chi^2$ $O_i$ $i$ $N$ $E_i$ $N p_i$ $i$ $i$ $p_i$ $n$

З іншого боку, тестова статистика для -test є: $z$

з $\displaystyle Z = \frac{\frac{x_1}{n_1}-\frac{x_2}{n_2}}{\sqrt{p\,(1-p)(1/n_1+1/n_2)}}$ , деі- кількість "успіхів", за кількістю предметів у кожному з рівнів категоричних змінних, тобтоі. $\displaystyle p = \frac{x_1\,+\,x_2}{n_1\,+\,n_2}$ $x_1$ $x_2$ $n_1$ $n_2$

Ця формула, схоже, спирається на біноміальне розподіл.

Ці дві статистичні дані виразно відрізняються, і вони дають різні результати як для фактичної статистики тестів, так і для p- значень : 5.8481для та z-тесту, де (спасибі, @ mark999 ). Значення р- значення для тесту є , а для z-тесту - . Різниця пояснюється проти : (спасибі @amoeba). $\chi^2$ 2.4183 $\small 2.4183^2=5.84817$ $\chi^2$ 0.015590.0077 $\small 0.01559/2=0.007795$

Тож на якому рівні ми говоримо, що вони одне і те саме?

chi-squared proportion z-test

— Антоні Пареллада
джерело

Але це два однакові тести. Z квадрат - це статистика хі-квадрата. Нехай у вас є таблиця частот 2х2, де стовпці - це дві групи, а рядки - "успіх" і "провал". Тоді так звані очікувані частоти тесту чи-квадрата в даному стовпчику є зваженим (на групи N) середнім профілем стовпця (групи), помноженим на N. цієї групи. Таким чином, виходить, що квадрат-чі перевіряє відхилення кожен із двох профілів груп із цього середнього групового профілю, - що еквівалентно тестуванню різниці профілів груп один від одного, z-тесту пропорцій.

— ttnphns

У прикладі на останньому гіперпосиланні

майже є квадратом статистики z-тесту, але не зовсім, а значення p відрізняються. Крім того, коли ви дивитеся на формули для решти статистики вище, чи справді негайно вони однакові? Або навіть один квадрат іншого?

χ^{2}

$\chi^2$

— Антоні Пареллада

В chisq.test(), ви намагалися з допомогою correct=FALSE?

— mark999

Справді, Антоні. Обидва тести існують з або без Йейтса. Можливо, ви обчислите одне, а інше без нього?

— ttnphns

Дякую! Ви були (передбачувано) правильні. Якщо виправлено поправку Йейтса, одне - це просто квадрат другого. Відповідно я відредагував це питання, хоча і трохи швидко. Я все-таки хотів би довести алгебраїчно, що обидві статистичні дані тесту однакові (або одна квадратика іншої), і зрозуміти, чому значення p відрізняються.

— Антоні Пареллада

Будемо мати таблицю частот 2х2, де стовпці складають дві групи респондентів, а рядки - це два відповіді "Так" і "Ні". І ми перетворили частоти в пропорції всередині групи, тобто у вертикальні профілі :

      Gr1   Gr2  Total
Yes   p1    p2     p
No    q1    q2     q
      --------------
     100%  100%   100%
      n1    n2     N

Звичайна (не виправлена ) цієї таблиці, після того як ви заміните пропорції замість частот у її формулі, виглядає так: $\chi^2$

n_{1} [\frac{(p_{1} - p)^{2}}{p} + \frac{(q_{1} - q)^{2}}{q}] + n_{2} [\frac{(p_{2} - p)^{2}}{p} + \frac{(q_{2} - q)^{2}}{q}] = \frac{n_{1} (p_{1} - p)^{2} + n_{2} (p_{2} - p)^{2}}{p q} .

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}]= \frac{n_1(p_1-p)^2+n_2(p_2-p)^2}{pq}.$

Пам'ятайте, що , елемент середньозваженого профілю двох профіліві, і включіть його у формулу, щоб отримати $p= \frac{n_1p_1+n_2p_2}{n_1+n_2}$ (p1,q1)(p2,q2)

. . . = \frac{(p_{1} - p_{2})^{2} (n_{1}^{2} n_{2} + n_{1} n_{2}^{2})}{p q N^{2}}

$...= \frac{(p_1-p_2)^2(n_1^2n_2+n_1n_2^2)}{pqN^2}$

$(n_1^2n_2+n_1n_2^2)$

\frac{(p_{1} - p_{2})^{2}}{p q (1 / n_{1} + 1 / n_{2})} = Z^{2},

$\frac{(p_1-p_2)^2}{pq(1/n_1+1/n_2)}=Z^2,$

квадратична z-статистика z-тесту пропорцій для відповіді "Так".

Таким чином, 2x2статистика однорідності Chi-квадрата (і тест) еквівалентна z-тесту двох пропорцій. Так звані очікувані частоти, обчислені в тесті чи-квадрата в даному стовпчику, - це зважений (за групою n) середній вертикальний профіль (тобто профіль "середньої групи"), помножений на показник цієї групи n. Таким чином, виходить, що чи-квадрат випробовує відхилення кожної з двох груп профілів від цього середнього профілю групи, - що еквівалентно тестуванню різниці профілів груп один від одного, що є z-тестом пропорцій.

Це одна демонстрація зв'язку між мірою асоціації змінних (chi-квадрат) та мірою різниці груп (z-test test). Асоціації атрибутів та групові відмінності (часто) є двома гранями одного і того ж.

(Showing the expansion in the first line above, By @Antoni's request):

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}] = \frac{n_1(p_1-p)^2q}{pq}+\frac{n_1(q_1-q)^2p}{pq}+\frac{n_2(p_2-p)^2q}{pq}+\frac{n_2(q_2-q)^2p}{pq} = \frac{n_1(p_1-p)^2(1-p)+n_1(1-p_1-1+p)^2p+n_2(p_2-p)^2(1-p)+n_2(1-p_2-1+p)^2p}{pq} = \frac{n_1(p_1-p)^2(1-p)+n_1(p-p_1)^2p+n_2(p_2-p)^2(1-p)+n_2(p-p_2)^2p}{pq} = \frac{[n_1(p_1-p)^2][(1-p)+p]+[n_2(p_2-p)^2][(1-p)+p]}{pq} = \frac{n_1(p_1-p)^2+n_2(p_2-p)^2}{pq}.$

— ttnphns
джерело

@ttnphs This is great! Any chance you could clarify the intermediate step in the first equation (

χ^{2}

$\chi^2$ ) formula - I don't see how the

q

$q$ 's go away after the equal sign.

— Antoni Parellada

@ttnphs When I expand it I get

n_{1} [\frac{(p_{1} - p)^{2}}{p} + \frac{(q_{1} - q)^{2}}{q}] + n_{2} [\frac{(p_{2} - p)^{2}}{p} + \frac{(q_{2} - q)^{2}}{q}] = n_{1} (\frac{q (p^{2} + p (- 2 p_{1} - 2 q_{1} + p_{1}^{2}) + p (q^{2} + q_{1}^{2})}{p q}) + n_{2} (\frac{q (p^{2} + p (- 2 p_{2} - 2 q_{2}) + p_{2}^{2}) + p (q^{2} + q_{2}^{2})}{p q})

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}]=n_1(\frac{q(p^2+p(-2p_1-2q_1+p_1^2)+p(q^2+q_1^2)}{pq})+n_2(\frac{q(p^2+p(-2p_2-2q_2)+p_2^2)+p(q^2+q_2^2)}{pq})$

— Antoni Parellada

@ttnphs ... Or some reference so it's less work to type the latex... And I'll promptly and happily 'accept' the answer...

— Antoni Parellada

@Antoni, expansion inserted.

— ttnphns

@ttnphns Awesome!

— Antoni Parellada