Як видалити залишків даних із набору даних

У мене є багатовимірні дані про красу та вік. Віки коливаються від 20-40 з інтервалом 2 (20, 22, 24 .... 40), і для кожного запису даних їм присвоюється вік та оцінка краси від 1-5. Коли я роблю розсипи цих даних (віки по осі X, оцінки краси по осі Y), є деякі недоброзичливці, побудовані за межами вусів кожної скриньки.

Я хочу видалити ці інструменти з самого кадру даних, але я не впевнений, як R обчислює залишків для своїх графіків. Нижче наведено приклад того, як можуть виглядати мої дані.

Гаразд, ви повинні застосувати щось подібне до вашого набору даних. Не заміняйте та не зберігайте, або ви знищите свої дані! І, btw, ви (майже) ніколи не повинні видаляти з своїх даних люди, що втратили лишнє значення:

remove_outliers <- function(x, na.rm = TRUE, ...) {
  qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...)
  H <- 1.5 * IQR(x, na.rm = na.rm)
  y <- x
  y[x < (qnt[1] - H)] <- NA
  y[x > (qnt[2] + H)] <- NA
  y
}

Щоб побачити це в дії:

set.seed(1)
x <- rnorm(100)
x <- c(-10, x, 10)
y <- remove_outliers(x)
## png()
par(mfrow = c(1, 2))
boxplot(x)
boxplot(y)
## dev.off()

І ще раз, ви ніколи не повинні робити цього самостійно, люди, що тільки були призначені! =)

EDIT: Я доданий na.rm = TRUEза замовчуванням.

EDIT2: Прибрана quantileфункція, додано індексування, тому зробили функцію швидше! =)

Ніхто не опублікував найпростішої відповіді:

x[!x %in% boxplot.stats(x)$out]

Також дивіться це: http://www.r-statistics.com/2011/01/how-to-label-all-the-outliers-in-a-boxplot/

Використовуйте outline = FALSEяк варіант, коли ви робите boxplot (читайте довідку!).

> m <- c(rnorm(10),5,10)
> bp <- boxplot(m, outline = FALSE)

Функція boxplot повертає значення, які використовуються для побудови графіку (що фактично потім робиться bxp ():

bstats <- boxplot(count ~ spray, data = InsectSprays, col = "lightgray") 
#need to "waste" this plot
bstats$out <- NULL
bstats$group <- NULL
bxp(bstats)  # this will plot without any outlier points

Я навмисно не відповів на конкретне запитання, тому що вважаю статистичним недобросовісним правом вилучення "людей, що не переживають". Я вважаю прийнятною практикою не розміщувати їх у коробці, а видаляти їх лише тому, що вони перевищують деяку кількість стандартних відхилень або деяку кількість міжквартильних ширин - це систематичне та ненаукове керування записом спостережень.

Я шукав пакунки, пов’язані з видаленням інших людей, і знайшов цей пакет (на диво називається "outliers"!): Https://cran.r-project.org/web/packages/outliers/outliers.pdf,
якщо ви переходите через нього ви перегляньте різні способи видалення залишків, і серед них я знайшов rm.outlierнайзручніший у використанні, і, як сказано у посиланні вище: "Якщо вибуховий детектор виявлений і підтверджений статистичними тестами, цю функцію можна видалити або замінити середньою пробою або медіаною" а також тут частина використання з того самого джерела:
" Використання

rm.outlier(x, fill = FALSE, median = FALSE, opposite = FALSE)

Аргументи
x набір даних, найчастіше вектор. Якщо аргумент є фреймом даних, то виворіт видаляється з кожного стовпця за допомогою саппліка. Така ж поведінка застосовується при застосуванні, коли задана матриця.
fill Якщо встановлено значення TRUE, медіана або середнє значення розміщується замість outlier. В іншому випадку, сторонні (-і) речі / просто видаляються.
медіана Якщо встановлено значення ІСТИНА, медіана використовується замість середнього в заміні зовнішньої. навпаки, якщо встановлено значення TRUE, дає протилежне значення (якщо найбільше значення має максимальну різницю від середнього, воно дає найменше і навпаки) "

x<-quantile(retentiondata$sum_dec_incr,c(0.01,0.99))
data_clean <- data[data$attribute >=x[1] & data$attribute<=x[2],]

Мені здається, що це дуже легко видалити люди, що переживають люди. У наведеному вище прикладі я лише добуваю від 2 перцентилей до 98 перцентилів значень атрибутів.

Не вдалося б:

z <- df[df$x > quantile(df$x, .25) - 1.5*IQR(df$x) & 
        df$x < quantile(df$x, .75) + 1.5*IQR(df$x), ] #rows

виконати це завдання досить легко?

Додавши до пропозиції @sefarkas і використовуючи квантил як відрізний, можна вивчити наступний варіант:

newdata <- subset(mydata,!(mydata$var > quantile(mydata$var, probs=c(.01, .99))[2] | mydata$var < quantile(mydata$var, probs=c(.01, .99))[1]) ) 

Це видалить очки балів, що перевищують 99-й квантил. Слід бути обережним, як це говорив aL3Xa про збереження людей, що вижили. Її слід видалити лише для отримання альтернативного консервативного перегляду даних.

1 спосіб зробити це

my.NEW.data.frame <- my.data.frame[-boxplot.stats(my.data.frame$my.column)$out, ]

або

my.high.value <- which(my.data.frame$age > 200 | my.data.frame$age < 0) 
my.NEW.data.frame <- my.data.frame[-my.high.value, ]

Аутлієри досить схожі на піки, тому пік-детектор може бути корисним для ідентифікації людей, що вижили. Описаний тут метод має досить хороші показники з використанням z-балів. Частина анімації внизу сторінки ілюструє метод передачі сигналів на випускні або піки.

Піки не завжди є такими ж, як люди, що виживають, але вони часто подібні.

Тут показаний приклад: Цей набір даних зчитується з датчика через послідовний зв’язок. Іноді помилки послідовного зв'язку, помилка датчика або обидва призводять до повторних, явно помилкових точок даних. У цьому пункті немає статистичного значення. Вони, мабуть, не чужі люди, це помилки. Детектор пікових z-балів зміг подати сигнал про помилкові точки даних та створив чистий отриманий набір даних:

Спробуйте це. Подайте змінну у функцію та збережіть o / p у змінній, яка містила б видалені залишки

outliers<-function(variable){
    iqr<-IQR(variable)
    q1<-as.numeric(quantile(variable,0.25))
    q3<-as.numeric(quantile(variable,0.75))
    mild_low<-q1-(1.5*iqr)
    mild_high<-q3+(1.5*iqr)
    new_variable<-variable[variable>mild_low & variable<mild_high]
    return(new_variable)
}