Відомий факт, що медіана є стійкою до сторонніх людей. Якщо це так, коли і навіщо ми б в першу чергу вживали середину?

Можливо, я можу подумати, щоб зрозуміти присутність людей, що випадають, тобто якщо медіана далеко не середня, тоді розподіл перекошений і, можливо, дані потрібно вивчити, щоб вирішити, що робити з людьми. Чи є якісь інші види використання?

У певному сенсі середнє використовується, оскільки воно чутливе до даних. Якщо розподіл буває симетричним і хвости приблизно схожі на звичайний розподіл, середня величина є дуже ефективним підсумком центральної тенденції. Медіана, хоча є надійною і чітко визначеною для будь-якого безперервного розподілу, є лише настільки ж ефективною, як середнє значення, якщо дані трапляються від звичайного розподілу. Саме ця відносна неефективність медіани утримує нас від її використання навіть більше, ніж ми. Відносна неефективність перетворюється на незначну абсолютну неефективність, оскільки розмір вибірки стає більшим, тому для великих ми можемо бути більш винуватими щодо використання медіани.$\frac{2}{\pi}$$n$

Цікаво відзначити, що для міри варіації (поширення, дисперсії) існує дуже надійний оцінювач, який на 0,98 є настільки ж ефективним, як і стандартне відхилення, а саме середня різниця Джині. Це середня абсолютна різниця між будь-якими двома спостереженнями. [Ви повинні помножити вибіркове стандартне відхилення на постійну, щоб оцінити ту саму величину, оцінену за середньою різницею Джіні.] Ефективним показником центральної тенденції є оцінка Ходжеса-Леманна, тобто медіана всіх парних засобів. Ми б використовували його більше, якби його тлумачення було більш простим.

Уже багато чудових відповідей, але, зробивши крок назад і отримати трохи більш основне, я б сказав, що це тому, що відповідь, яку ви отримаєте, залежить від питання, яке ви задаєте. Середня і медіана відповідають на різні запитання - іноді одне підходить, інше - інше.

Неважко сказати, що медіану слід використовувати, коли є аутлієри, або для косого розподілу, або будь-якого іншого. Але це не завжди так. Візьміть дохід - майже завжди повідомляється з медіаною, і зазвичай це правильно. Але якщо ви дивитесь на витрату цілої громади, це може бути не правильно. І в деяких випадках навіть режим може бути найкращим (особливо, якщо дані згруповані).

Коли цінність є сміттям для нас, ми називаємо це "стороннім" і хочемо, щоб аналіз був надійним до нього (і віддаємо перевагу медіану); коли це саме значення є привабливим, ми називаємо це "крайнім" і хочемо, щоб аналіз був чутливим до нього (і віддав перевагу середньому). Діалектика ...

Середовище однаково реагує на зміну значення незалежно від того, де в розподілі відбувається зсув. Наприклад, 1 2 3 4 5ви можете збільшити будь-яке значення на 2 - середнє збільшення буде однаковим. Реакція медіани менш "послідовна": додайте 2 до точок даних 4 або 5, і медіана не посилиться; але додайте 2 до пункту 2 - так що зсув буде перебіг медіани, а медіана різко зміниться (значно більше, ніж буде змінено середнє значення).

Середній завжди точно розташований. Середній не є; наприклад, у множині 1 2 3 4 будь-яке значення між 2 і 3 можна назвати середнім. Таким чином, аналізи на основі медіанів не завжди є унікальним рішенням.

Середнє значення - це місце мінімальних відхилень суми квадрата. Багато завдань оптимізації на основі лінійної алгебри (включаючи відому регресію OLS) мінімізують цю помилку в квадраті і, отже, передбачають поняття середнього значення. Середній локус мінімальних відхилень суми абсолютних відхилень. Методи оптимізації для мінімізації такої помилки є нелінійними та є більш складними / мало відомими.

Відповідей на це питання дуже багато. Ось такий, який ви, мабуть, не побачите в іншому місці, тому я включаю його сюди, тому що я вважаю, що це стосується цієї теми. Люди часто вірять, що оскільки медіана вважається надійною мірою стосовно людей, що не належать до людей, що вона також є надійною для більшості всього. Насправді це також вважається надійним упередженням у перекошених розподілах. Ці два стійкі властивості медіани часто навчаються разом. Можна відзначити, що основні перекошені дистрибуції також мають тенденцію до отримання невеликих зразків, схожих на те, що у них є вищі люди, а загальноприйнята мудрість полягає в тому, що в таких ситуаціях можна використовувати медіанів.

#function to generate random values from a skewed distribution
rexg <- function (n, m, sig, tau) {
    rexp(n, rate = 1/tau) + rnorm(n, mean = m, sd = sig)
    }

(лише демонстрація того, що це перекос і основна форма)

hist(rexg(1e4, 0, 1, 1))

Тепер давайте подивимося, що станеться, якщо ми виберемо з цього розподілу різні розміри вибірки та обчислимо медіану та маємо на увазі, що таке різниці між ними.

#generate values with various n's
N <- 1e4
ns <- 2:30
y <- sapply(ns, function(x) mean(apply(matrix(rexg(x*N, 0, 1, 1), ncol = N), 2, median)))
plot(ns,y, type = 'l', ylim = c(0.85, 1.03), col = 'red') 
y <- sapply(ns, function(x) mean(colMeans(matrix(rexg(x*N, 0, 1, 1), ncol = N))))
lines(ns,y)

Як видно з наведеного сюжету, медіана (червоним кольором) набагато більш чутлива до n, ніж середня. Це суперечить деякій загальноприйнятій мудрості щодо використання медіанів із низьким рівнем ns, особливо якщо розподіл може бути перекошеним. І це підкреслює те, що середнє значення є відомим значенням, а медіана чутлива до інших властивостей, одна з яких - n.

Цей аналіз схожий на Miller, J. (1988). Попередження про середній час реакції. Журнал експериментальної психології: сприйняття та ефективність людини , 14 (3): 539–543.

РЕВІЗІЯ

Розмірковуючи над проблемою перекосу, я вважав, що вплив на медіану може бути лише тому, що в невеликих вибірках більша ймовірність того, що медіана знаходиться в хвості розподілу, тоді як середнє значення майже завжди буде зважене на значення, ближчі до значення режим. Тому, можливо, якщо хтось просто брав вибірки з вірогідністю випускників, то, можливо, відбудуться ті самі результати.

Тож я подумав про ситуації, коли можуть виникнути люди, що переживають люди, і експериментатори можуть спробувати їх усунути.

Якщо випадкові випадки трапляються послідовно, наприклад, у кожному окремому відборі даних, то медіани стійкі до ефекту цієї чужої людини, і звичайна історія використання медіанів має місце.

Але зазвичай це не відбувається.

Можна виявити чужий в дуже мало клітинок експерименту і вирішити використовувати медіану замість середнього в цьому випадку. Знову ж таки, медіана є більш стійкою, але її фактичний вплив порівняно невеликий, оскільки людей, які переживають мало часу, дуже мало. Це, безумовно, був би більш поширений випадок, ніж той, що описаний вище, але ефект від використання медіани, ймовірно, буде настільки малим, що це мало би мало значення.

Можливо, більш часто люди, що випадають, можуть бути випадковим компонентом даних. Наприклад, справжнє середнє та стандартне відхилення сукупності може становити приблизно 0, але є відсоток часу, який ми відбираємо з популяції, що перебуває поза межами, де середнє значення 3. Розглянемо наступне моделювання, де саме така популяція відбирається, змінюючи вибірку розмір.

#generate n samples N times with an outp probability of an outlier.
rout <- function (n, N, outp) {
    outPos <- sample(0:1,n*N, replace = TRUE, prob = c(1-outp,outp))
    numOutliers <- sum(outPos)
    y <- matrix( rnorm(N*n), ncol = N )
    y[which(outPos==1)] <- rnorm(numOutliers, 4)
    return(y)
    }

outp <- 0.1
N <- 1e4
ns <- 3:30
yMed <- sapply(ns, function(x) mean(apply(rout(x,N,outp), 2, median)))
var(yMed)
yM <- sapply(ns, function(x) mean(colMeans(rout(x,N,outp))))
var(yM)
plot(ns,yMed, type = 'l', ylim = range(c(yMed,yM)), ylab = 'Y', xlab = 'n', col = 'red') 
lines(ns,yM)

Медіана - червона, середня - чорна. Це схожий висновок зі скасованим розподілом.

У відносно практичному прикладі використання медіанів для уникнення наслідків, що втратили люди, можна створити ситуації, коли на оцінку впливає n набагато більше, коли використовується медіана, ніж коли використовується середнє значення.

• З середнього значення легко обчислити суму по всіх предметах, наприклад, якщо ви знаєте середній дохід населення та чисельність населення, ви можете відразу підрахувати загальний дохід всього населення.

• Середнє значення просто обчислити у O(n)часовій складності. Обчислити медіану за лінійним часом можливо, але потрібно більше продумати. Очевидне рішення, що вимагає сортування, має гіршу ( O(n log n)) часову складність.

І я припускаю, що є ще одна причина того, що середнє значення є більш популярним, ніж медіана:

• Середній викладається для більшої кількості людей у ​​школі, і це, мабуть, викладається перед викладанням медіани

"Відомо, що медіана є стійкою до людей, що втрачають пережиток. Якщо це так, то коли і чому ми б в першу чергу вживали середнє значення?"

У тих випадках, коли відомо, що немає інших людей, наприклад, коли вони знають процес генерації даних (наприклад, у математичній статистиці).

Слід зазначити тривіальне, що ці дві величини (середня та медіана) насправді не вимірюють одне й те саме, і більшість користувачів запитують перше, коли те, що їм насправді повинно бути зацікавлене в останньому (це добре проілюстровано середні тести Вілкоксона, які легше інтерпретуються, ніж t-тести).

Тоді, є випадки, коли з тієї чи іншої причини випадків якесь регулювання нав'язує використання він означає.

Якщо стурбованість викликає наявність людей, що переживають люди, існує декілька прямих способів перевірити свої дані.

Працівники, майже за визначенням, потрапляють до наших даних, коли щось змінюється або в процесі генерації даних, або в процесі збору даних. тобто дані перестають бути однорідними. Якщо ваші дані неоднорідні, то ні середня, ні медіана не мають великого сенсу, оскільки ви намагаєтеся оцінити центральну тенденцію двох окремих наборів даних, які були змішані разом.

Найкращим методом забезпечення однорідності є вивчення процесів генерування даних та збирання даних, щоб переконатися, що всі ваші дані надходять із єдиного набору процесів. Тут нічого не б'ється трохи мозку.

У якості вторинної перевірки ви можете звернутися до одного з декількох статистичних тестів: хі-квадрат, Діксонів Q-тест, тест Грубба або контрольна діаграма / діаграма поведінки процесу (зазвичай X-бар R або XmR). Мій досвід полягає в тому, що, коли ваші дані можуть бути впорядковані по мірі їх збирання, графіки поведінки процесів краще виявляти людей, що не випадають, ніж тести, що використовуються. Це використання для діаграм може бути дещо суперечливим, але я вважаю, що цілком відповідає оригінальному наміру Шеуарта, і це використання, яке явно виступає Дональд Уілер. Незалежно від того, чи використовуєте ви випробування на чужорідне життя або діаграми поведінки процесу, пам’ятайте, що виявлений «чужий» - це лише сигнал про потенціалнеоднорідність, яку потрібно додатково вивчити. Рідко має сенс викидати точки даних, якщо у вас немає пояснень, чому вони були пережилими.

Якщо ви використовуєте R, пакет " outliers" надає тести, що випадають , а для діаграм поведінки процесу є qcc , IQCC і qAnalyst. Я маю особисті переваги щодо використання та виходу пакету qcc.

Коли ви хочете середини?

Приклади з фінансів:

• Повернення облігацій:
  • Середня віддача облігацій, як правило, становитиме кілька відсоткових пунктів.
  • Середня віддача облігацій може бути низькою або високою залежно від ставки за замовчуванням та відновлення за замовчуванням. Медіана проігнорує все це!
  • Вдало пояснюючи Вашим інвесторам: "Я знаю, що наш фонд зменшився на 40% цього року, оскільки майже половина облігацій розпалася без відновлення, але наша середня облігація повернула 1%!"
• Прибутковість венчурного капіталу:
  • Те ж саме у зворотному напрямку. Середня VC або ангельська інвестиція - це бюст, і все повернення приходить від кількох переможців! (Побічна примітка / попередження: оцінки венчурного капіталу або повернення приватного капіталу вкрай проблематичні ... будьте уважні!)

Формуючи диверсифікований портфель, вирішуючи, в що інвестувати і скільки, середня величина та коваріантність прибутковості, ймовірно, важливо враховуватимуть вашу проблему оптимізації.