Азіатський випадок дискримінації Палантіра: як обчислювались ймовірності?

Я читав цю статтю про випадок Палантіра, коли Департамент праці звинувачує їх у дискримінації азіатів. Хтось знає, звідки вони взяли ці оцінки ймовірності?

Я не отримую 1/741 в пункті (а).

(a) На посаду інженера з QA-інженеру, з групи, що містить понад 730 кваліфікованих претендентів (приблизно 77% з яких були азіатцями), Палантір найняв шістьох азіатських претендентів та лише одного азіатського заявника. Несприятливий вплив, обчислений OFCCP, перевищує три стандартних відхилення. Ймовірність того, що цей результат стався випадково, приблизно одна з 741.

(b) Що стосується посади інженера, що займається програмним забезпеченням, з групи понад 1160 кваліфікованих претендентів (приблизно 85% з яких були азіатськими), Палантір найняв 14 заявників, які не є азіатськими, і лише 11 азіатських заявників. Несприятливий вплив, обчислений OFCCP, перевищує п'ять стандартних відхилень. Ймовірність того, що цей результат стався випадково, приблизно одна з 3,4 мільйонів.

(c) На посаду інженера з якості інженера з якості, з групи, що включає понад 130 кваліфікованих претендентів (приблизно 73% з яких були азіатцями), Палантір найняв 17 заявників, які не є азіатськими, і лише чотирьох азіатських претендентів. Несприятливий вплив, обчислений OFCCP, перевищує шість стандартних відхилень. Ймовірність того, що цей результат стався випадково, приблизно одна на мільярд.

Я збираюся переконатись у цьому на досвіді випадків дискримінації. Я точно можу встановити, звідки беруться значення "один на 741" тощо . Однак у перекладі було втрачено стільки інформації, що решта моєї реконструкції спирається на те, що я бачив, як люди ведуть статистику в установах судових залів. Я можу лише здогадуватися про деякі деталі.

---

$0.05$$0.01$

Експерти статистики для позивачів часто намагаються сформулювати свої результати в цих звичних термінах. Деякі з експертів проводять статистичний тест, в якому нульова гіпотеза виражає "відсутність негативного впливу", припускаючи, що рішення про працевлаштування були чисто випадковими і не підлягали будь-яким іншим характеристикам працівників. (Будь то альтернатива з однохвостим або двохвостим, може залежати від експерта та обставин.) Потім вони перетворюють значення p цього тесту в ряд "стандартних відхилень", відсилаючи його до стандартного нормального розподілу, - навіть коли стандарт Normal не має значення для оригінального тесту. Таким чином, вони сподіваються чітко донести свої висновки до судді.

Вигідний тест даних, які можна узагальнити в таблицях на випадок надзвичайних ситуацій, - це точний тест Фішера. Поява "Точного" в його назві особливо сподобається позивачам, оскільки воно конотує статистичне визначення, яке було зроблено без помилок (що б це не було!).

Ось тоді моя (спекулятивна реконструкція) розрахунків Департаменту праці.

1. $\chi^2$

2. Вони перетворили його p-значення в нормальний показник Z ("кількість стандартних відхилень").

3. Вони округлили бал Z до найближчого цілого числа: "перевищує три стандартних відхилення", "перевищує п'ять стандартних відхилень" і "перевищує шість стандартних відхилень". (Оскільки деякі з цих Z-балів обігнули до до більш стандартних відхилень, я не можу виправдати «перевершує», все , що я можу зробити , це процитувати.)

4. У скарзі ці інтегральні показники Z були перетворені назад у p-значення! Знову використовувався стандартний нормальний розподіл.

5. Ці p-значення описуються (імовірно, в оману) як "ймовірність того, що цей результат стався випадково".

$1/1280$$1/565000$$1/58000000$$730$$1160$$130$$730$$1160$$130$$-3.16$$-4.64$$-5.52$$1/741$$1/3500000$$1/1000000000$

---

Ось Rкод, який використовується для виконання цих обчислень.

f <- function(total, percent.asian, hired.asian, hired.non.asian) {
  asian <- round(percent.asian/100 * total)
  non.asian <- total-asian
  x <- matrix(c(asian-hired.asian, non.asian-hired.non.asian, hired.asian, hired.non.asian),
              nrow = 2,
              dimnames=list(Race=c("Asian", "non-Asian"),
                            Status=c("Not hired", "Hired")))
  s <- fisher.test(x)
  s$p.value
}
1/pnorm(round(qnorm(f(730, 77, 1, 6))))
1/pnorm(round(qnorm(f(1160, 85, 11, 14))))
1/pnorm(round(qnorm(f(130, 73, 4, 17))))

Як правильно обчислити pvals за допомогою гіпергеометричного розподілу:

$k$$n$$K$$N$ загальних елементів буде слідувати гіпергеометричному розподілу .

Для одностороннього тестування в MATLAB ви можете зателефонувати pval = hygecdf(k, N, K, n);або в цьому випадку pval = hygecdf(1, 730, 562, 7)приблизно близько .0007839.

Середнє та стандартне відхилення задаються:

$$\mu = n \frac{K}{N} \quad \quad \quad s = \sqrt{n \frac{K}{N} \frac{N - K}{N} \frac{N - n}{N-1}}$$ Таким чином, ми -3,957 стандартних відхилень поза середнім значенням.

$\chi^2$

Шукаючи формули, які OFCCP може використовувати, цей веб-сайт, який я бачив, може бути корисним: http://www.hr-software.net/EcurityStatistics/DisparateImpact.htm

Короткий зміст деяких розрахунків:

$$\begin{array}{rrrr} \text{Number and method} & \text{Part A} & \text{Part B} & \text{Part C} \\ \text{PVal from hypergeometric CDF} & \text{7.839e-04} & \text{1.77e-06} & \text{1.72e-08}\\ \chi^2 \text{ stat} & 15.68 & 33.68 & 37.16\\ \chi^2 \text{ pval} & \text{7.49e-05} & \text{6.47e-09} & \text{1.09e-09} \\ \text{Pval from above document} & .00135 & \text{2.94e-07} & \text{1.00e-09} \end{array}$$

$\chi^2$$\sum \frac{(\text{expected} - \text{actual})^2}{\text{expected}}$