Перетворити класи стовпців у таблицю data.table


118

У мене є проблема використання data.table: Як конвертувати класи стовпців? Ось простий приклад: З data.frame у мене немає проблеми з його перетворенням, а з data.table я просто не знаю як:

df <- data.frame(ID=c(rep("A", 5), rep("B",5)), Quarter=c(1:5, 1:5), value=rnorm(10))
#One way: http://stackoverflow.com/questions/2851015/r-convert-data-frame-columns-from-factors-to-characters
df <- data.frame(lapply(df, as.character), stringsAsFactors=FALSE)
#Another way
df[, "value"] <- as.numeric(df[, "value"])

library(data.table)
dt <- data.table(ID=c(rep("A", 5), rep("B",5)), Quarter=c(1:5, 1:5), value=rnorm(10))
dt <- data.table(lapply(dt, as.character), stringsAsFactors=FALSE) 
#Error in rep("", ncol(xi)) : invalid 'times' argument
#Produces error, does data.table not have the option stringsAsFactors?
dt[, "ID", with=FALSE] <- as.character(dt[, "ID", with=FALSE]) 
#Produces error: Error in `[<-.data.table`(`*tmp*`, , "ID", with = FALSE, value = "c(1, 1, 1, 1, 1, 2, 2, 2, 2, 2)") : 
#unused argument(s) (with = FALSE)

Чи пропускаю тут щось очевидне?

Оновлення через пост Меттью: я раніше використовував старішу версію, але навіть після оновлення до 1.6.6 (версія, яку я зараз використовую) я все одно отримую помилку.

Оновлення 2: Скажімо, я хочу перетворити кожен стовпець класу "фактор" у стовпчик "символ", але не знаю заздалегідь, який стовпець є для якого класу. За допомогою data.frame я можу зробити наступне:

classes <- as.character(sapply(df, class))
colClasses <- which(classes=="factor")
df[, colClasses] <- sapply(df[, colClasses], as.character)

Чи можу я зробити щось подібне з data.table?

Оновлення 3:

sessionInfo () R версія 2.13.1 (2011-07-08) Платформа: x86_64-pc-mingw32 / x64 (64-bit)

locale:
[1] C

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] data.table_1.6.6

loaded via a namespace (and not attached):
[1] tools_2.13.1

Аргументи операторів "[" в data.tableметодах відрізняються, ніж вони призначені дляdata.frame
IRTFM

1
Будь ласка, вставте фактичну помилку, а не #Produces error. +1 у будь-якому випадку Я не отримую жодної помилки, яку версію ви маєте? У цій галузі є питання, однак воно було порушене раніше, FR # 1224 та FR # 1493 є пріоритетними для вирішення. Але відповідь Андрі є найкращим способом.
Метт Даул

Вибачте @MatthewDowle за те, що пропустив це у своєму питанні, я оновив свою публікацію.
Крістоф_J

1
@Christoph_J Дякую Ви впевнені в цій invalid times argumentпомилці? Мені добре працювати. Яку версію ви маєте?
Метт Даул

Я оновив свою публікацію sessionInfo (). Однак я перевірив це на своїй робочій машині сьогодні. Вчора на моїй домашній машині (Ubuntu) сталася та сама помилка. Я оновлю R і побачу, чи проблема все-таки є.
Крістоф_J

Відповіді:


104

Для одного стовпця:

dtnew <- dt[, Quarter:=as.character(Quarter)]
str(dtnew)

Classes ‘data.table’ and 'data.frame':  10 obs. of  3 variables:
 $ ID     : Factor w/ 2 levels "A","B": 1 1 1 1 1 2 2 2 2 2
 $ Quarter: chr  "1" "2" "3" "4" ...
 $ value  : num  -0.838 0.146 -1.059 -1.197 0.282 ...

Використання lapplyта as.character:

dtnew <- dt[, lapply(.SD, as.character), by=ID]
str(dtnew)

Classes ‘data.table’ and 'data.frame':  10 obs. of  3 variables:
 $ ID     : Factor w/ 2 levels "A","B": 1 1 1 1 1 2 2 2 2 2
 $ Quarter: chr  "1" "2" "3" "4" ...
 $ value  : chr  "1.487145280568" "-0.827845218358881" "0.028977182770002" "1.35392750102305" ...

2
@Christoph_J Будь ласка, покажіть команду групування, з якою ви боретесь (реальна проблема). Подумайте, ви, можливо, пропустили щось просте. Чому ви намагаєтеся перетворити класи стовпців?
Метт Даул

1
@Christoph_J Якщо ви намагаєтесь маніпулювати data.tables, то чому б просто не перетворити їх тимчасово в data.frames, зробити очищення даних, а потім перетворити їх назад у data.tables?
Андрі

17
Який ідіоматичний спосіб зробити це для підмножини стовпців (замість усіх)? Я визначив вектор символів convcolsстовпців. dt[,lapply(.SD,as.numeric),.SDcols=convcols]майже миттєво, поки dt[,convcols:=lapply(.SD,as.numeric),.SDcols=convcols]майже замерзає R, тому я гадаю, що я роблю це неправильно. Спасибі
Френк

4
@Frank Дивіться коментар Метта Даула до відповіді Geneorama нижче ( stackoverflow.com/questions/7813578/… ); це було для мене корисним і ідіоматичним [стартувати цитатою] Ще одним і простішим способом є використання, set()наприклад for (col in names_factors) set(dt, j=col, value=as.factor(dt[[col]]))[кінцева цитата]
swihart

4
Чому ви використовуєте параметр by = ID?
скан

48

Спробуйте це

DT <- data.table(X1 = c("a", "b"), X2 = c(1,2), X3 = c("hello", "you"))
changeCols <- colnames(DT)[which(as.vector(DT[,lapply(.SD, class)]) == "character")]

DT[,(changeCols):= lapply(.SD, as.factor), .SDcols = changeCols]

7
тепер ви можете використовувати Filterфункцію для ідентифікації стовпців, наприклад: changeCols<- names(Filter(is.character, DT))
David Leal

1
ІМО, це краща відповідь з тієї причини, яку я дав у вибраній відповіді.
Джеймс Гіршорн

1
або більш стисло: changeCols <- names(DT)[sapply(DT, is.character)].
sindri_baldur

8

Підвищивши коментар Метта Даула до відповіді Geneorama ( https://stackoverflow.com/a/20808945/4241780 ), щоб зробити його більш очевидним (як рекомендується), ви можете використовувати for(...)set(...).


library(data.table)

DT = data.table(a = LETTERS[c(3L,1:3)], b = 4:7, c = letters[1:4])
DT1 <- copy(DT)
names_factors <- c("a", "c")

for(col in names_factors)
  set(DT, j = col, value = as.factor(DT[[col]]))

sapply(DT, class)
#>         a         b         c 
#>  "factor" "integer"  "factor"

Створено 2020-02-12 пакетом reprex (v0.3.0)

Дивіться ще один коментар Метта за адресою https://stackoverflow.com/a/33000778/4241780 для отримання додаткової інформації.

Редагувати.

Як зазначає Espen і в help(set), jможе бути "Імен (и) стовпців (символів) або номер (и) (ціле число), яким потрібно присвоїти значення, коли стовпець (и) вже існують". Так names_factors <- c(1L, 3L)буде і працювати.


Ви можете додати те, що names_factorsтут. Я думаю, що це взято з stackoverflow.com/a/20808945/1666063, тож саме names_factors = c('fac1', 'fac2')в цьому випадку - це імена стовпців. Але це також можуть бути номери стовпців, наприклад 1; ncol (dt), який би перетворив усі стовпці
Espen Riskedal

@EspenRiskedal Спасибі, я відредагував пост, щоб зробити його більш очевидним.
JWilliman

2

Це BAD спосіб зробити це! Я залишаю цю відповідь лише у випадку, якщо вона вирішить інші дивні проблеми. Ці кращі методи, можливо, частково є результатом новіших версій data.table ... тому варто документувати цей складний спосіб. Плюс це гарний приклад eval substituteсинтаксису для синтаксису.

library(data.table)
dt <- data.table(ID = c(rep("A", 5), rep("B",5)), 
                 fac1 = c(1:5, 1:5), 
                 fac2 = c(1:5, 1:5) * 2, 
                 val1 = rnorm(10),
                 val2 = rnorm(10))

names_factors = c('fac1', 'fac2')
names_values = c('val1', 'val2')

for (col in names_factors){
  e = substitute(X := as.factor(X), list(X = as.symbol(col)))
  dt[ , eval(e)]
}
for (col in names_values){
  e = substitute(X := as.numeric(X), list(X = as.symbol(col)))
  dt[ , eval(e)]
}

str(dt)

що дає тобі

Classes ‘data.table’ and 'data.frame':  10 obs. of  5 variables:
 $ ID  : chr  "A" "A" "A" "A" ...
 $ fac1: Factor w/ 5 levels "1","2","3","4",..: 1 2 3 4 5 1 2 3 4 5
 $ fac2: Factor w/ 5 levels "2","4","6","8",..: 1 2 3 4 5 1 2 3 4 5
 $ val1: num  0.0459 2.0113 0.5186 -0.8348 -0.2185 ...
 $ val2: num  -0.0688 0.6544 0.267 -0.1322 -0.4893 ...
 - attr(*, ".internal.selfref")=<externalptr> 

42
Іншим і простішим способом є використання, set()наприклад,for (col in names_factors) set(dt, j=col, value=as.factor(dt[[col]]))
Matt Dowle

1
Я думаю, що моя відповідь виконує це в один рядок, для всіх версій. Не впевнений, чи setє більш підходящим.
Бен Роллерт

1
Більше інформації for(...)set(...)тут: stackoverflow.com/a/33000778/403310
Метт Даул

1
@skan Добре запитання. Якщо ви не можете його знайти раніше, будь ласка, задайте нове запитання. Допомагає іншим у майбутньому.
Метт Даул

1
@skan ось як я це зробив: github.com/geneorama/geneorama/blob/master/R/…
geneorama

0

Я спробував кілька підходів.

# BY {dplyr}
data.table(ID      = c(rep("A", 5), rep("B",5)), 
           Quarter = c(1:5, 1:5), 
           value   = rnorm(10)) -> df1
df1 %<>% dplyr::mutate(ID      = as.factor(ID),
                       Quarter = as.character(Quarter))
# check classes
dplyr::glimpse(df1)
# Observations: 10
# Variables: 3
# $ ID      (fctr) A, A, A, A, A, B, B, B, B, B
# $ Quarter (chr) "1", "2", "3", "4", "5", "1", "2", "3", "4", "5"
# $ value   (dbl) -0.07676732, 0.25376110, 2.47192852, 0.84929175, -0.13567312,  -0.94224435, 0.80213218, -0.89652819...

або іншим чином

# from list to data.table using data.table::setDT
list(ID      = as.factor(c(rep("A", 5), rep("B",5))), 
     Quarter = as.character(c(1:5, 1:5)), 
     value   = rnorm(10)) %>% setDT(list.df) -> df2
class(df2)
# [1] "data.table" "data.frame"

0

Я пропоную більш загальний і безпечніший спосіб зробити це,

".." <- function (x) 
{
  stopifnot(inherits(x, "character"))
  stopifnot(length(x) == 1)
  get(x, parent.frame(4))
}


set_colclass <- function(x, class){
  stopifnot(all(class %in% c("integer", "numeric", "double","factor","character")))
  for(i in intersect(names(class), names(x))){
    f <- get(paste0("as.", class[i]))
    x[, (..("i")):=..("f")(get(..("i")))]
  }
  invisible(x)
}

Функція ..гарантує, що ми отримаємо змінну із сфери даних.table; set_colclass встановить класи ваших команд. Ви можете використовувати його так:

dt <- data.table(i=1:3,f=3:1)
set_colclass(dt, c(i="character"))
class(dt$i)

-1

Якщо у списку даних data.table є список імен стовпців, ви хочете змінити клас do:

convert_to_character <- c("Quarter", "value")

dt[, convert_to_character] <- dt[, lapply(.SD, as.character), .SDcols = convert_to_character]

Ця відповідь по суті є поганою версією відповіді @ Nera нижче. Просто виконайте dt[, c(convert_to_character) := lapply(.SD, as.character), .SDcols=convert_to_character]призначення за посиланням, а не використовуйте повільніше призначення data.frame.
altabq

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.