Чи є середня справедливіша за середню?

Нещодавно я прочитав пораду про те, що зазвичай слід застосовувати медіану, а не означає, щоб знищити людей, що живуть. Приклад: Наступна стаття http://www.amazon.com/Forensic-Science-Introduction-Scientist-Investigative/product-reviews/1420064932/

на даний момент має 16 відгуків:

review= c(5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 4, 4, 3, 2, 1, 1)
summary(review)  ## "ordinary" summary

Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
1.000   3.750   5.000   4.062   5.000   5.000 

Оскільки вони використовують середнє, стаття отримує 4 зірки, але якщо вони будуть використовувати Медіану, вона отримає 5 зірок.

Хіба не медіана «справедливіший» суддя?

Експеримент показує, що похибка медіани завжди більша за середню. Медіана гірша?

library(foreach)

#the overall population of bookjudgments
n<-5
p<-0.5
expected.value<-n*p
peoplesbelieve <-rbinom(10^6,n, p)

#16 ratings made for 100 books
ratings <- foreach(i=1:100, .combine=rbind) %do% sample(peoplesbelieve,16)
stat <- foreach(i=1:100, .combine=rbind) %do% c(mean=mean(ratings[i,]), median=median(ratings[i,]))

#which mean square error is bigger? Mean's or Median's?
meansqrterror.mean<-mean((stat[,"mean"]-expected.value)^2)
meansqrterror.median<-mean((stat[,"median"]-expected.value)^2)

res<-paste("mean MSE",meansqrterror.mean)
res<-paste(res, "| median MSE", meansqrterror.median)
print(res)

Проблема полягає в тому, що ви насправді не визначили, що означає мати хороший чи справедливий рейтинг. Ви пропонуєте в коментарі до відповіді @ Кевіна, що вам це не сподобається, якщо один поганий відгук зніме предмет. Але порівнюючи два пункти, де один має "ідеальну інформацію", а інший - поганий огляд, можливо, ця різниця має бути відображена.

Існує цілий (великомірний) континуум між середньою і середньою. Ви можете впорядкувати голоси за значенням, а потім взяти середньозважений показник з вагами залежно від позиції в цьому порядку. Середнє значення відповідає всім рівним вагам, медіана відповідає лише одному або двом записам у середині, отримуючи ненульову вагу, підрізане середнє значення відповідає тому, що всі, крім першої та останньої пари, мають однакову вагу, але ви також можете вирішити зважити вагу й з n зразків масою $k$$n$ абоexp(-(2k-1-n)$\frac{1}{1 + (2 k - 1 - n)^2}$, кинути туди щось випадкове. Може таке середньозважене середнє значення, коли люди, що втрачають люди, отримують меншу вагу, але все-таки ненульова кількість, можуть поєднувати добрі властивості середньої та середньої?$\exp(-\frac{(2k - 1 - n)^2}{n^2})$

Відповідь, яку ви отримаєте, залежить від питання, яке ви задаєте.

Середня та середня відповіді на різні запитання. Тож вони дають різні відповіді. Справа не в тому, що один «справедливіший», ніж інший. Медіани часто використовують із сильно перекошеними даними (наприклад, про доходи). Але, навіть там, іноді середнє найкраще. І іноді не хочеться БУДЬ-яка міра центральної тенденції.

Крім того, щоразу, коли ви даєте міру центральної тенденції, ви повинні дати деяку міру поширення. Найпоширеніші пари - середньостатистичне відхилення та медіано-міжквартильний діапазон. За цими даними давати лише медіану 5 - це, на мою думку, оманливе або, принаймні, неінформативне. Медіана також була б 5, якщо кожен голос був 5.

Якщо єдиними варіантами є цілі числа в діапазоні від 1 до 5, чи дійсно можна вважати будь-яким іншим?

$\alpha = 0.05$

Grubbs test for one outlier

data:  review  G = 2.0667, U = 0.6963,
p-value = 0.2153 alternative
hypothesis: lowest value 1 is an outlier

Експеримент показує, що похибка медіани завжди більша за середню.

Це залежить від функції, яку ви використовуєте.

MSE мінімізується середнім значенням. Тому якщо ви використовуєте MSE, медіана завжди буде гіршою за середню.

АЛЕ, якби ви використали абсолютну помилку, то середнє було б гірше!

Гарне пояснення з цього приводу можна знайти тут: http://www.johnmyleswhite.com/notebook/2013/03/22/modes-medians-and-means-an-unifying-perspective/

Вибір залежить від вашої проблеми та вподобань. Якщо ви не хочете, щоб чужі люди мали великий вплив на положення "центральної точки", тоді ви вибираєте медіану. Якщо ви піклуєтесь про людей, що випадають, вибираєте середню.

Просто швидка думка:

Якщо ви припускаєте, що кожен рейтинг складається з прихованої безперервної змінної, то ви можете визначити медіану цієї основної безперервної змінної інтересу як вашу величину інтересу, а не середню цього базового розподілу. Якщо розподіл симетричний, то середнє значення та медіана в кінцевому підсумку оцінювали б однакові величини. Якщо розподіл перекошений, медіана відрізнятиметься від середньої. У цьому випадку, на мій погляд, медіана більше відповідала б тому, що ми вважаємо типовим значенням. Це певним чином зрозуміло, чому середній дохід та середні ціни на будинки зазвичай повідомляються, а не середні.

Однак, якщо у вас невелика кількість дискретних значень, медіана працює погано.

Можливо, ви могли б скористатися певною процедурою оцінки щільності, а потім взяти медіану, або скористатися якоюсь інтерпольованою медіаною.

Чудова річ у використанні медіани для оцінок зірок полягає в тому, що розумні користувачі (обізнані про використання медіани) не «гратимуть» у систему:

Якщо раціональний користувач вважає, що належний рейтинг повинен бути 4 зірки, але він наразі має 4,5 зірки, тоді найкращий спосіб дістатися до чотирьох зірок (якщо припустити, що було більше шести голосів) - це проголосувати за 1 зірку в середній системі оцінювання .

Перебуваючи в системі, що базується на медіані, раціональний вибір користувача полягає у тому, щоб просто проголосувати саме кількість зірок, які користувач вважає, що продукт повинен мати.

Це свого роду другий еквівалент цінових аукціонів для зіркових рейтингових систем.

Кілька хороших відповідей все ще залишають місце для додаткових коментарів.

По-перше, ніхто не заперечував проти думки про те, що медіана призначена для усунення чужих людей, але я її кваліфікую. Задуманий сенс очевидний, але реальні дані легко ускладнюються. Принаймні, медіана покликана знижувати або ігнорувати людей, які не мають права, але навіть це не гарантується. Наприклад, при оцінках 1 1 1 5 5 5 середня і середня величини погоджуються на 3, тому все може здатися гарним. Але додаткові 5 нахилять медіану до 5, а додаткова 1 - медіану до 1. Середнє значення зміщуватиметься приблизно на 0,286 у кожному випадку. Отже, середнє значення тут стійкіше, ніж медіана. Приклад можна відхилити як незвичний, але це не обурює. Суть не є оригінальною, природно. Одне місце це зроблено в Mosteller, F. and Tukey, JW 1977. Аналіз даних та регресія. Редінг, МА: Аддісон-Веслі, с.34-35.

По-друге, згадані підстрижені засоби і ідея заслуговує на більший поштовх. Середні та медіанні не повинні бути різкими альтернативами, щоб аналітик повинен вибрати (голосувати) за те чи інше. Ви можете розглянути всі можливі підстрижені засоби на основі обрізання певної кількості значень у кожному хвості . У таблиці показано як # кількість значень, що входять до обчислення середнього значення:

  +----------------------------+
  | number    #   trimmed mean |
  |----------------------------|
  |      0   16         4.0625 |
  |      1   14       4.214286 |
  |      2   12       4.416667 |
  |      3   10            4.6 |
  |      4    8           4.75 |
  |      5    6       4.833333 |
  |      6    4              5 |
  |      7    2              5 |
  +----------------------------+

Основна картина тут полягає в тому, що ви можете вибрати свою ставку дисконтування (ігноруйте стільки значень у кожному хвості, як підозрюваний) як вид страхування від ризику вийти з-за надзвичайних значень. Я бачу досить плавний градієнт між середнім та середнім, який тут очікується, оскільки можливі значення 1, 2, 3, 4, 5 присутні в даних. Великий стрибок у послідовності очікується з ізольованою стороною.

Немає зобов’язань з обрізаними засобами обрізати рівні цифри в кожному хвості, але я не буду розширювати це питання.

По-третє, прикладом є відгуки Амазонки. Контекст завжди має відношення до того, як ви хочете узагальнити дані . Що стосується відгуків Amazon, найкраща відповідь - прочитати відгуки! Оскільки високі та низькі оцінки можуть бути на помилкових підставах (неявно: автор цієї книги є моїм другом) та / або не має відношення до вашого рішення (явно: перепродавець ставився до мене погано), я не маю очевидного для мене значення для того, як узагальнити такі дані, і, дійсно, показавши вам розповсюдження Amazon, є максимально інформативним.

По-четверте, і найелементарніший, але також принциповий з усіх, хто змушує вас обирати? Іноді слід повідомляти про середнє значення та медіану (і, як було сказано, також графік розподілу).