Що я отримую, якщо вважати результат порядковим, а не категоричним?

12

Існують різні методи прогнозування порядкових та категоричних змінних.

Я не розумію, як це має значення ця відмінність. Чи є простий приклад, який може зрозуміти, що піде не так, якщо я скасую замовлення? За яких обставин це не має значення? Наприклад, якщо всі незалежні змінні також будуть категоричними / порядковими, чи не буде різниці?

Це пов'язане питання зосереджується на типі незалежних змінних. Тут я запитую про змінні результатів.

Редагувати: Я бачу сенс, що використання структури замовлення зменшує кількість параметрів моделі, але я все ще не дуже переконаний.

Ось приклад (взятий із вступу до упорядкованої логістичної регресії, де, наскільки я бачу, порядкова логістична регресія не працює краще, ніж багаточленна логістична регресія:

library(nnet)
library(MASS)
gradapply <- read.csv(url("http://www.ats.ucla.edu/stat/r/dae/ologit.csv"), colClasses=c("factor", "factor", "factor", "numeric"))

ordered_result <- function() {
  train_rows <- sample(nrow(gradapply), round(nrow(gradapply)*0.9))
  train_data <- gradapply[train_rows,]
  test_data <- gradapply[setdiff(1:nrow(gradapply), train_rows),]
  m <- polr(apply~pared+gpa, data=train_data)
  pred <- predict(m, test_data)
  return(sum(pred==test_data$apply))
}

multinomial_result <- function() {
  train_rows <- sample(nrow(gradapply), round(nrow(gradapply)*0.9))
  train_data <- gradapply[train_rows,]
  test_data <- gradapply[setdiff(1:nrow(gradapply), train_rows),]
  m <- multinom(apply~pared+gpa, data=train_data)
  pred <- predict(m, test_data)
  return(sum(pred==test_data$apply))
}

n <- 100

polr_res <- replicate(n, ordered_result())
multinom_res <- replicate(n, multinomial_result())
boxplot(data.frame(polr=polr_res, multinom=multinom_res))

який показує розподіл кількості правильних здогадок (з 40) обох алгоритмів.

polr_vs_multinom

Edit2: Коли я використовую в якості методу оцінювання наступне

return(sum(abs(as.numeric(pred)-as.numeric(test_data$apply)))

і караючи "дуже неправильні" прогнози, polr все ще виглядає погано, тобто сюжет вище не сильно змінюється.

logistic multinomial ordered-logit

— Карстен В.
джерело

1

У вашому прикладі використовується переривчасте правило неправильного оцінювання, яке, як правило, не є хорошою основою для порівняння наборів прогнозів (це довільно і не вистачає сили та точності).

— Френк Харрелл

Я припускав, що вам, можливо, доведеться примусити вихідну змінну бути an ordered factor, що покращило б результати: gradapply$apply <-factor(gradapply$apply, levels= c('unlikely', 'somewhat likely', 'very likely') , ordered = TRUE)але це не має ніякої різниці. Якщо ви подивитеся на точність, вони в значній мірі схожі. Точність не є хорошим показником, на який можна покладатися лише.

— Жубарб

10

Існують основні переваги в потужності та точності від того, щоб Y ставитись як порядковий, коли це доречно. Це виникає із значно меншої кількості параметрів у моделі (на коефіцієнт k, де k на один менше, ніж кількість категорій Y). Існує кілька порядкових моделей. Найбільш часто використовуються пропорційні логічні моделі коефіцієнта пропорцій та коефіцієнтів продовження.

— Френк Харрелл
джерело

1

+1 Зменшення параметрів також означає, що порядкові моделі можуть бути набагато простішими.

— JMS

4

Якщо ви ігноруєте впорядкований характер змінних, відповідні методи все одно нададуть правильний аналіз, але перевага використання методів для впорядкованих даних полягає в тому, що вони надають більшу інформацію про порядок та величину значущих змінних.

— Мюррей
джерело

Я не бачу, яка інформація про замовлення надана.

— Карстен В.

1

Припустимо, змінна має три рівні: низький, середній, високий. Порядковий аналіз міг би запропонувати не різницю між низьким та середнім, але значенням для високого. Оцінка параметрів може надати інформацію, наприклад "коли величина X велика, ефект оцінюється в 2,5 рази більше, ніж низький або середній", - отже, напрямок і величина.

— Мюррей

2

Якщо ви хочете моделювати дані, і залежна категоріальна змінна не має впорядкування (номінального), тоді ви повинні використовувати багаточленну модель logit. Якщо залежна змінна має впорядкування (порядковий), то ви можете використовувати накопичувальну модель logit (пропорційна модель шансів).

Особисто для мене я вважаю результати набагато простішими для інтерпретації моделі пропорційних шансів порівняно з мультиноміальною моделлю, особливо коли ти хочеш повідомити результати тому, хто не має статистичних знань.

Це не єдині моделі, якими можна користуватися, але вони дуже типові.

— Глен
джерело