Елегантний спосіб повідомляти про відсутні значення в data.frame

Ось невеличка частина коду, яку я написав, щоб повідомити про змінні з відсутніми значеннями з кадру даних. Я намагаюся придумати більш елегантний спосіб зробити це, який, можливо, повертає data.frame, але я застряг:

for (Var in names(airquality)) {
    missing <- sum(is.na(airquality[,Var]))
    if (missing > 0) {
        print(c(Var,missing))
    }
}

Редагувати: Я маю справу з data.frames з десятками до сотнями змінних, тому ключовим є те, що ми повідомляємо лише про змінні з відсутніми значеннями.

Просто використовуйте sapply

> sapply(airquality, function(x) sum(is.na(x)))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0

Ви також можете використовувати applyабо colSumsна матриці, створенуis.na()

> apply(is.na(airquality),2,sum)
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0
> colSums(is.na(airquality))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0 

Ми можемо використовувати map_dfз муркотінням.

library(mice)
library(purrr)

# map_df with purrr
map_df(airquality, function(x) sum(is.na(x)))
# A tibble: 1 × 6
# Ozone Solar.R  Wind  Temp Month   Day
# <int>   <int> <int> <int> <int> <int>
# 1    37       7     0     0     0     0

Мій новий улюблений для (не надто широких) даних - це методи із чудового пакету naniar . Ви отримуєте не тільки частоти, але й моделі зникнення:

library(naniar)
library(UpSetR)

riskfactors %>%
  as_shadow_upset() %>%
  upset()

Часто буває корисно побачити, де пропуски відносно тих, хто не пропав, що можна досягти складанням розкиданого сюжету з пропусками:

ggplot(airquality,
       aes(x = Ozone,
           y = Solar.R)) +
 geom_miss_point()

Або для категоріальних змінних:

gg_miss_fct(x = riskfactors, fct = marital)

Ці приклади з віньєтки пакету, де перелічені інші цікаві візуалізації.

summary(airquality)

вже надає вам цю інформацію

У VIM пакети також пропонують деякі хороші відсутній ділянку даних для data.frame

library("VIM")
aggr(airquality)

Докладніше: sum(is.na(x[1]))

Це

1. x[1] Подивіться на першу колонку

2. is.na() правда, якщо це так NA

3. sum() TRUEє 1, FALSEє0

Ще одна графічна альтернатива - plot_missingфункція з чудового DataExplorerпакету:

Документи також вказують на той факт, що ви можете зберегти ці результати для додаткового аналізу за допомогою missing_data <- plot_missing(data).

Ще однією функцією, яка допомогла б вам розглянути відсутні дані, буде df_status із бібліотеки funModeling

library(funModeling)

iris.2 - це набір даних iris з деякими доданими NA. Ви можете замінити це своїм набором даних.

df_status(iris.2)

Це дасть вам кількість і відсоток НС у кожному стовпці.

Ще одне графічне рішення - visdat пакетні пропозиції vis_miss.

library(visdat)
vis_miss(airquality)

Дуже схожий на Ameliaвихід з невеликою різницею в тому, щоб дати% s на пропуски поза рамкою.

Я думаю, що бібліотека Amelia добре працює з обробкою відсутніх даних, а також включає карту для візуалізації відсутніх рядків.

install.packages("Amelia")
library(Amelia)
missmap(airquality)

Ви також можете запустити наступний код, який поверне логічні значення na

row.has.na <- apply(training, 1, function(x){any(is.na(x))})

Іншим графічним та інтерактивним способом є використання is.na10функції з heatmaplyбібліотеки:

library(heatmaply)

heatmaply(is.na10(airquality), grid_gap = 1, 
          showticklabels = c(T,F),
            k_col =3, k_row = 3,
            margins = c(55, 30), 
            colors = c("grey80", "grey20"))

Можливо, це не буде добре працювати з великими наборами даних ..

Якщо ви хочете зробити це для певного стовпця, ви можете також використовувати це

length(which(is.na(airquality[1])==T))

Функцію пакета ExPanDaR prepare_missing_values_graphможна використовувати для дослідження даних панелі:

dplyrРішення , щоб отримати кількість може бути:

summarise_all(df, ~sum(is.na(.)))

Або щоб отримати відсоток:

summarise_all(df, ~(sum(is_missing(.) / nrow(df))))

Можливо, також варто зазначити, що відсутні дані можуть бути потворними, суперечливими та не завжди кодованими, NAзалежно від джерела чи способу обробки при імпорті. Наступну функцію можна налаштувати залежно від ваших даних та того, що ви хочете вважати відсутнім:

is_missing <- function(x){
  missing_strs <- c('', 'null', 'na', 'nan', 'inf', '-inf', '-9', 'unknown', 'missing')
  ifelse((is.na(x) | is.nan(x) | is.infinite(x)), TRUE,
         ifelse(trimws(tolower(x)) %in% missing_strs, TRUE, FALSE))
}

# sample ugly data
df <- data.frame(a = c(NA, '1', '  ', 'missing'),
                 b = c(0, 2, NaN, 4),
                 c = c('NA', 'b', '-9', 'null'),
                 d = 1:4,
                 e = c(1, Inf, -Inf, 0))

# counts:
> summarise_all(df, ~sum(is_missing(.)))
  a b c d e
1 3 1 3 0 2

# percentage:
> summarise_all(df, ~(sum(is_missing(.) / nrow(df))))
     a    b    c d   e
1 0.75 0.25 0.75 0 0.5