Чи можете ви пояснити парадокс Сімпсона рівняннями замість таблиць на випадок надзвичайних ситуацій?

Напевно, я не маю чіткого розуміння парадоксу Сімпсона . Неофіційно мені відомо, що середнє значення відповіді Y1, згруповане за всіма можливими рівнями фактора А, може бути вище, ніж середнє значення відповіді Y2 для всіх рівнів А, навіть якщо середнє значення Y1 для кожного рівня А (для кожної групи) становить завжди менше, ніж відповідне середнє значення Y2. Я читав приклади, але все одно дивуюсь щоразу, коли бачу це, можливо, тому, що я не вчуся добре на конкретних прикладах: у мене виникають проблеми їх узагальнення. Я найкраще навчаюсь, і швидше побачу пояснення у формулах. Чи можете ви пояснити парадокс, покладаючись на рівняння, замість того, щоб рахувати таблиці?

Крім того, я думаю, що причина мого здивування полягає в тому, що я могла підсвідомо робити певні припущення щодо середніх показників, пов'язаних з парадоксом, що, можливо, не відповідає дійсності. Можливо, я забув зважити кількість проб у кожній групі? Але тоді я хотів би побачити рівняння, яке показує мені, що оцінка загальної середньої величини є більш точною, якщо я зважую кожну середню групу за кількістю зразків у кожній групі, тому що (якщо це правда) це не очевидно мені взагалі. Наївно я б вважав, що оцінка $\mathbf{E}[Y_1]$ має нижчу стандартну помилку, коли у мене більше зразків, незалежно від зважування.

Ось загальний підхід до розуміння Парадокса Сімпсона алгебраїчно для даних підрахунку.

Припустимо, що у нас є дані про виживання для експозиції та ми створюємо таблицю на випадок 2х2. Щоб все було просто, у нас буде однакове підрахунок у кожній комірці. Ми могли б це розслабити, але це зробило б алгебру досить безладним.

$$\begin{array}{|c|c|c|c|} \hline & \text{Died} & \text{Survived} & \text{Death Rate} \\ \hline \text{Exposed} & X & X & 0.5 \\ \hline \text{Unexposed}& X & X & 0.5\\ \hline \end{array}$$

У цьому випадку рівень смертності є однаковим як у групах, що піддаються впливу, так і у неекспонованих.

Тепер, якщо ми розділимо дані, скажімо, на одну групу для жінок та іншу групу для чоловіків, ми отримаємо 2 таблиці з наступними підрахунками:

Самці:

$$\begin{array}{|c|c|c|c|} \hline & \text{Died} & \text{Survived} & \text{Death Rate} \\ \hline \text{Exposed} & Xa & Xb & \frac{a}{a+b} \\ \hline \text{Unexposed}& Xc & Xd & \frac{c}{c+d}\\ \hline \end{array}$$

і для жінок:

$$\begin{array}{|c|c|c|c|} \hline & \text{Died} & \text{Survived} & \text{Death Rate} \\ \hline \text{Exposed} & X(a-1) & X(b-1) & \frac{a-1}{a+b-2} \\ \hline \text{Unexposed}& X(c-1) & X(d-1) & \frac{c-1}{c+d-2}\\ \hline \end{array}$$

$a,b,c,d \in [0,1]$

Парадокс Сімпсона відбудеться тоді, коли рівень смертності підданих чоловіків більший, ніж рівень смертності для чоловіків, що не піддаються впливу, І рівень смертності для підданих жінок більший, ніж рівень смертності для жінок, що не піддаються впливу. Альтернативно, це також буде мати місце, коли рівень смертності підданих чоловіків менше, ніж рівень смертності для чоловіків, що не піддаються впливу, І рівень смертності для підданих жінок менше, ніж рівень смертності для жінок, що не піддаються впливу. Тобто коли

$$\left(\frac{a}{a+b} < \frac{c}{c+d}\right) \text{ and } \left(\frac{a-1}{a+b-2} < \frac{c-1}{c+d-2}\right)$$

$$\text{Or }$$

$$\left(\frac{a}{a+b} > \frac{c}{c+d}\right) \text{ and } \left(\frac{a-1}{a+b-2} > \frac{c-1}{c+d-2}\right)$$

$X=100$$a=0.5, b=0.8, c=0.9$ . Тоді у нас буде парадокс Сімпсона, коли:

$$\left(\frac{0.5}{0.8+0.9} < \frac{0.9}{0.9+d}\right) \text{ and } \left(\frac{0.5-1}{0.5+0.8-2} < \frac{0.9-1}{0.9+d-2}\right)$$

$$(-9 < d < 1.44) \text{ and } (0.96 < d < 1.1)$$

$(0.96,1]$

Другий набір нерівностей дає:

$$\left(\frac{0.5}{0.8+0.9} > \frac{0.9}{0.9+d}\right) \text{ and } \left(\frac{0.5-1}{0.5+0.8-2} > \frac{0.9-1}{0.9+d-2}\right)$$

$$(d < -0.9 \text{ or } d>1.44) \text{ and } (0.96 < d \text{ or } d > 1.44)$$

яка не має рішення для $d \in [0,1]$

Отже, для трьох значень, які ми обрали $a,b,$ і $c$, щоб викликати парадокс Сімпсона, $d$має бути більше 0,96. У випадку, коли значення було$0.99$ тоді ми отримаємо рівень смертності для чоловіків Росії

$$0.5/ (0.5+0.8) = 38 \text{% in the exposed group}$$ $$0.9/ (0.9+0.99) = 48 \text{% in the unexposed group}$$

і для жінок:

$$(0.5-1)/ (0.5+0.8-2) = 71 \text{% in the exposed group}$$ $$(0.9-1)/ (0.9+0.99-2) = 91 \text{% in the unexposed group}$$

So, males have a higher death rate in the unexposed group than in the exposed group, and females also have a higher death rate in the unexposed group than the exposed group, yet the death rates in the aggregated data are the same for exposed and unexposed.

Suppose we have data on 2 variables, $x$ and $y$, for 2 groups, A and B.

Data in group A are such that the fitted regression line is

$$y = 11 - x$$

with mean values of $2$ and $9$ for $x$ and $y$ respectively.

Data in group B are such that the fitted regression line is

$$y = 25 - x$$

with mean values of $11$ and $14$ for $x$ and $y$ respectively.

So the regression coefficient for $x$ is $-1$ in both groups.

Further, let there be equal numbers of observations in each group, with both and y distributed symmetrically. We now wish to compute the overall regression line. To keep matters simple we will assume that the overall regression line passes through the means of each group, that is $(2,9)$ for group A and $(11,14)$ for group B. Then it is easy to see that the overall regression line slope must be $(14-9)/(11-2) = 0.55$ which is the overall regression coefficient for $x$. Thus we see Simpson’s paradox in action – we have a negative association of $x$ with $y$ in each group individually, but a positive association overall when the data are aggregated. We can demonstrate this easily in R as follows:

rm(list=ls())
Xa <- c(1,2,3)
Ya <- c(10,9,8)
m0 <- lm(Ya~Xa)
plot(Xa,Ya, xlim=c(0,20), ylim=c(5,20), col="red")
abline(m0, col="red")

Xb <- c(10,11,12)
Yb <- c(15,14,13)
m1 <- lm(Yb~Xb)
points(Xb,Yb, col="blue")
abline(m1, col="blue")

X <- c(Xa,Xb)
Y <- c(Ya,Yb)
m2 <- lm(Y~X)
abline(m2, col="black")

The red points and regression line are group A, the blue points and regression line are group B and the black line is the overall regression line.