Чому факт, що 1 медіана нижчий, ніж інший медіани, не означає, що більшість у групі 1 менше, ніж більшість у групі 2?

Я вважав, що розроблені нижче скриньки можна інтерпретувати як "більшість чоловіків швидше, ніж більшість жінок" (у цьому наборі даних), насамперед тому, що середній час чоловіків був меншим, ніж середній час жінок. Але курс EdX на R та статистику вікторини сказав мені, що це неправильно. Будь ласка, допоможіть мені зрозуміти, чому моя інтуїція неправильна.

Ось питання:

Розглянемо випадкову вибірку фінішерів з Нью-Йоркського марафону в 2002 році. Цей набір даних можна знайти в пакеті UsingR. Завантажте бібліотеку та завантажте набір даних nym.2002.

library(dplyr)
data(nym.2002, package="UsingR")

Використовуйте боксплоти і гістограми для порівняння часу закінчення чоловіків і жінок. Що з наведеного найкраще описує різницю?

1. Самці і жінки мають однакове поширення.
2. Більшість чоловіків швидше, ніж більшість жінок.
3. Самець і самки мають схожі праворуч коси розподіли з колишнім, на 20 хвилин зміщені вліво.
4. Обидва розподілу зазвичай розподіляються із середньою різницею приблизно 30 хвилин.

Ось NYC марафонські часи для чоловіків і жінок, як квантили, гістограми та боксплоти:

# Men's time quantile
      0%      25%      50%      75%     100% 
147.3333 226.1333 256.0167 290.6375 508.0833

# Women's time quantile
      0%      25%      50%      75%     100% 
175.5333 250.8208 277.7250 309.4625 566.7833

Я думаю, що причина, яку ви позначили як неправильну, полягає не в тому, що відповідь, яку ви дали на багатоголосове запитання, була помилковою, а в тому, що варіант 3 "Чоловіки і жінки мають подібні правильні перекошені розподіли з попередніми, на 20 хвилин зміщені вліво" був би кращим вибором, оскільки він більш інформативний на основі наданої інформації.

Ось найменший зустрічний приклад, який я міг знайти:

• A ( [1, 4, 10])і B ( [0, 6, 9]) мають однаковий середній ( 5)

• B має більшу медіану ( 6), ніж A ( 4)

• Існує 5/9 ймовірність того, що випадковий елемент A більший, ніж випадковий елемент B.

Ось ще один приклад з 4 елементами:

"Більшість чоловіків швидші, ніж більшість жінок", можливо, є дещо неоднозначним, але я, як правило, інтерпретую його намір таким чином, що якщо ми подивимось на випадкові пари, більшість часу чоловік буде швидшим - тобто для випадкових (де - "час для -го чоловіка" тощо).$P(M_i<F_j)>\frac12$$i,j$$M_i$$i$

Звичайно, можливі й інші тлумачення фрази (ось, в чому полягає неоднозначність, зрештою), і деякі з цих інших можливостей можуть відповідати вашим міркуванням.

[У нас також є питання, чи говоримо ми про вибірки чи популяції ... "більшість чоловіків [...] більшість жінок", схоже, є твердженням про населення (про населення потенційних часів), але ми спостерігали лише часи що ми, здається, розглядаємо як зразок, тому ми повинні бути обережними з тим, наскільки широко ми заявляємо претензію.]

Зауважте, що не мається на увазі через . Вони можуть йти в протилежні сторони.$P(M_i<F_j)>\frac12$$\widetilde{M}<\widetilde{F}$

[Я не кажу, що ви помиляєтесь, думаючи, що частка випадкових пар МФ, де чоловік був швидшим за жінку, перевищує 1/2, - ви майже напевно правильні. Я просто кажу, що ви не можете цього сказати, порівнюючи медіанів. Ви також не можете цього сказати, дивлячись на частку в кожному зразку вище або нижче медіани іншого зразка. Вам доведеться зробити інше порівняння.]

Тобто, хоча середній чоловік може бути швидшим за медіанну жінку, можливо, мати вибірку разів (або безперервний розподіл разів, в цьому питанні), де шанс, що випадковий чоловік швидший, ніж випадкова жінка, є менше , ніж . У великих пробах два протилежних показання можуть бути вагомими.$\frac12$

Приклад:

Набір даних A:

 1.58  2.10 16.64 17.34 18.74 19.90  1.53  2.78 16.48 17.53 18.57 19.05
 1.64  2.01 16.79 17.10 18.14 19.70  1.25  2.73 16.19 17.76 18.82 19.08
 1.42  2.56 16.73 17.01 18.86 19.98

Набір даних B:

 3.35  4.62  5.03 20.97 21.25 22.92  3.12  4.83  5.29 20.82 21.64 22.06
 3.39  4.67  5.34 20.52 21.10 22.29  3.38  4.96  5.70 20.45 21.67 22.89
 3.44  4.13  6.00 20.85 21.82 22.05

Набір даних C:

 6.63  7.92  8.15  9.97 23.34 24.70  6.40  7.54  8.24  9.37 23.33 24.26
 6.18  7.74  8.63  9.62 23.07 24.80  6.54  7.37  8.37  9.09 23.22 24.16
 6.57  7.58  8.81  9.08 23.43 24.45

(Дані є тут , але вони використовуються для іншої мети там - на мій спогад, я створив цей сам)

Зауважимо, що частка A <<B становить 2/3, частка A <C - 5/9, а частка B <C - 2/3. І А, і В, і В проти С є значущими на рівні 5%, але ми можемо досягти будь-якого рівня значущості, просто додавши достатню кількість копій зразків. Ми навіть можемо уникнути зв’язків, дублюючи зразки, але додаючи досить крихітний тремтіння (достатньо менший за найменший проміжок між точками)

Медіани вибірки йдуть в іншому напрямку: медіана (A)> медіана (B)> медіана (C)

Знову ми могли досягти значущості для порівняння медіанів - до будь-якого рівня значущості - шляхом повторення зразків.

Щоб пов’язати це з цією проблемою, уявіть, що А - це "часи жінки", а В - "часи чоловіків". Тоді середній час чоловіків проходить швидше, але випадково вибраний чоловік буде на 2/3 часу повільніше, ніж випадково обрана жінка.

Беручи набір сигналів із зразків A і C, ми можемо генерувати більший набір даних (в R) наступним чином:

n <- 300
F <- c(runif(n/3,0,5),runif(n-n/3,15,20))
M <- c(runif(n-n/3,7.5,12.5),runif(n/3,22.5,27.5))

Медіана F становитиме близько 16,25, тоді як медіана M буде приблизно 11,25, але частка випадків, коли F <M, буде 5/9.

[Якщо ми замінили n / 3 біноміальною змінною з параметрами та ми б вибірку з популяції, де медіана розподілу F становить 16,25, а медіана розподілу M - 11,25. Тим часом у цій популяції ймовірність того, що F <M знову буде 5/9.]$n$$\frac13$

Зауважимо також, що і а (на значну відстань).$P(F<\text{med}(M))=\frac23$$P(M>\text{med}(F))=\frac23$$\text{med}(M)<\text{med}(F)$

Наступні малюнки взяті з цієї публікації в блозі , що ілюструє важливе практичне застосування цих ідей.

Стандартизація забезпечує потужний пристрій для порівняння двох дистрибутивів. На наступних трьох показниках порівнюються висоти 130-місячних хлопчиків та дівчаток з Національної програми вимірювання дітей у Англії (NCMP). (Це модальний вік у цьому наборі даних; я вибрав його просто для отримання максимальної кількості даних, а отже, і найгладших сюжетів у межах однієї вікової групи.)

Рисунок 1: Висота хлопчиків і дівчаток у віці 130 місяців з Національної програми вимірювання дітей у Англії (NCMP)

Малюнок 2: Відсотки зросту для хлопчиків і дівчаток у віці 130 місяців. Джерело: англійська NCMP

Малюнок 3: Розподіл висот дівчат 130-місячного віку відносно хлопців того ж віку.

В останній з цих цифр порівняння висоти було стандартизоване відповідно до висоти хлопчиків. Таким чином, читаючи уздовж пунктирних сірих рядків на рисунку 3, ви можете робити такі твердження, як:

• Середній (тобто 50-процентний) зріст для хлопчиків становить приблизно 45-й відсоток для дівчаток. Таким чином, 100% - 45% = 55% дівчат були вищими, ніж середній хлопчик.
• Висота верхнього кварталу (75 відсотків) для дівчаток досягає верхнього квінтилі (80-го перцентиля) для хлопчиків. Таким чином, серед дітей у віці 130 сотень дівчинка, яка перевищує 3 з 4 дівчаток, також вища, ніж 4 з 5 хлопчиків.

Один момент можливої ​​плутанини в цьому сюжеті заслуговує на згадку. Хоча лінія хлопчика на 45 ° на графіку "вище", ніж крива пурпурної дівчини, це спостереження все-таки відповідає загальновідомому факту, що в цьому віці (це шестикласники) дівчата, як правило, вище, ніж хлопчики . Зауважте, що ця високість належним чином відображається в тому, що крива пурпурової форми зміщена вправо відносно синьої лінії.

Цей підхід є досить загальним . За такого порівняння одна з груп - та, до якої ви стандартизуєтесь - стає лінією 45 °. Інша група, як правило, може бути будь-якою монотонною кривою, що збільшується, намальованою знизу зліва вгорі праворуч. За умови, що основні розподіли безперервні (у щільності відсутні точкові маси), порівняна крива буде безперервною. Якщо основні щільності мають однакову підтримку , крива повинна запускатися з$(0,0)$ до $(1,1)$.

Ваше первісне запитання тепер може бути перероблене в геометричному плані, як питання про те, чи можна було б намалювати пурпурову криву рисунку 3, щоб одночасно досягти (a) постульованого відношення між медіанами та (b) злегка невловимого відношення, яке @Glen_b з'ясований (правильно я вважаю) у своїй відповіді. Цікаво, чи можуть розриви розподілу (маси точок у густинах) можуть забезпечити «патологічний» випадок. Я гадаю, що будь-який подібний патологічний випадок стане «винятком, який підтверджує правило».

Якщо ви можете зробити найпростіший, логічний переклад вашого питання вікторини на більш офіційну мову, придатний до аналізу, то (використовуючи налаштування дитячих висот зверху), ми можемо хотіти сказати людині $x$ має властивість TMB, якщо $x$є т Aller , ніж м ост б OYs. Тоді у вашому запитанні для вікторини просто задали, чи має більшість дівчат властивість TMB . Якщо хтось визначає, що "найбільше" означає більше половини , то властивість TMB означає бути вище, ніж хлопчик середньої висоти. Запитання, чи має більшість дівчат властивість ТМВ, то зводиться до запитання, чи має середня дівчина ця властивість. На цей рахунок відповідь на питання вікторини буде так .

З іншого боку, якщо фактичний задум "більшості" становив "> 50%", можна очікувати використання більш точної фрази "більшість". Якщо хтось скаже мені, що щось "напевно" станеться, я б подумав, що на це ідеться суб'єктивна вірогідність 60% або більше. Так само "більшість" для мене означає щось трохи більше, як 70–80%. Зрозуміло, що з наведеного вище сюжету, якщо "більшість" береться за критерій, який є більш суворим, ніж 52,5%, то ви не можете сказати, що "більшість дівчат [мають властивість, що вони] вище, ніж більшість хлопців". Цікаво, чи частиною обґрунтування питання вікторини було стимулювання перевірки слів, оскільки вони стосуються числових понять. (Якщо ви думаєте, що це все трохи нерозумно, розгляньте ці графіки, показуючи, як люди схильні тлумачити різні ймовірнісні слова та фрази.) Можливо, наміром було також підкреслити те, що в дистрибутивах у реальному світі існує велика кількість варіацій, і що єдина статистика (середня, середня, що маєш - ви) рідко будете підтримувати широкі, важкі твердження.