Швидкі способи R отримати перший ряд кадру даних, згрупований за ідентифікатором [закритий]

Іноді мені потрібно отримати лише перший рядок набору даних, згрупований за ідентифікатором, як при пошуку віку та статі, коли на кожного людини є кілька спостережень. Який швидкий (або найшвидший) спосіб зробити це в R? Я використовував агрегат () нижче і підозрюю, що є кращі способи. Перш ніж надсилати це питання, я трохи шукав у google, знайшов і спробував ddply, і був здивований, що це надзвичайно повільно, і дав мені помилки пам'яті на моєму наборі даних (400 000 рядків x 16 cols, 7000 унікальних ідентифікаторів), тоді як сукупна () версія був досить швидким.

(dx <- data.frame(ID = factor(c(1,1,2,2,3,3)), AGE = c(30,30,40,40,35,35), FEM = factor(c(1,1,0,0,1,1))))
# ID AGE FEM
#  1  30   1
#  1  30   1
#  2  40   0
#  2  40   0
#  3  35   1
#  3  35   1
ag <- data.frame(ID=levels(dx$ID))
ag <- merge(ag, aggregate(AGE ~ ID, data=dx, function(x) x[1]), "ID")
ag <- merge(ag, aggregate(FEM ~ ID, data=dx, function(x) x[1]), "ID")
ag
# ID AGE FEM
#  1  30   1
#  2  40   0
#  3  35   1
#same result:
library(plyr)
ddply(.data = dx, .var = c("ID"), .fun = function(x) x[1,])

ОНОВЛЕННЯ: Дивіться відповідь Чейза та коментар Метта Паркера щодо того, що я вважаю найелегантнішим підходом. Дивіться відповідь @Matthew Dowle для найшвидшого рішення, яке використовує data.tableпакет.

Чи дійсно ваш стовпець ідентифікатора є фактором? Якщо вона насправді числова, я думаю, ви можете використовувати diffфункцію на вашу користь. Ви також можете примусити його до числового as.numeric().

dx <- data.frame(
    ID = sort(sample(1:7000, 400000, TRUE))
    , AGE = sample(18:65, 400000, TRUE)
    , FEM = sample(0:1, 400000, TRUE)
)

dx[ diff(c(0,dx$ID)) != 0, ]

Після відповіді Стіва, існує набагато швидший спосіб у data.table:

> # Preamble
> dx <- data.frame(
+     ID = sort(sample(1:7000, 400000, TRUE))
+     , AGE = sample(18:65, 400000, TRUE)
+     , FEM = sample(0:1, 400000, TRUE)
+ )
> dxt <- data.table(dx, key='ID')

> # fast self join
> system.time(ans2<-dxt[J(unique(ID)),mult="first"])
 user  system elapsed 
0.048   0.016   0.064

> # slower using .SD
> system.time(ans1<-dxt[, .SD[1], by=ID])
  user  system elapsed 
14.209   0.012  14.281 

> mapply(identical,ans1,ans2)  # ans1 is keyed but ans2 isn't, otherwise identical
  ID  AGE  FEM 
TRUE TRUE TRUE 

Якщо вам просто потрібен перший рядок кожної групи, набагато швидше приєднатися до цього рядка безпосередньо. Навіщо створювати .SD-об’єкт кожного разу, лише використовувати перший рядок?

Порівняйте 0,064 таблиць даних з "альтернативою Метта Паркера рішенням Чейза" (який, здавалося, був найшвидшим досі):

> system.time(ans3<-dxt[c(TRUE, dxt$ID[-1] != dxt$ID[-length(dxt$ID)]), ])
 user  system elapsed 
0.284   0.028   0.310 
> identical(ans1,ans3)
[1] TRUE 

Тож ~ у 5 разів швидше, але це крихітний стіл розміром у 1 мільйон рядків. Зі збільшенням розміру збільшується і різниця.

Вам не потрібно кілька merge()кроків, а aggregate()обидві цікаві змінні:

> aggregate(dx[, -1], by = list(ID = dx$ID), head, 1)
  ID AGE FEM
1  1  30   1
2  2  40   0
3  3  35   1

> system.time(replicate(1000, aggregate(dx[, -1], by = list(ID = dx$ID), 
+                                       head, 1)))
   user  system elapsed 
  2.531   0.007   2.547 
> system.time(replicate(1000, {ag <- data.frame(ID=levels(dx$ID))
+ ag <- merge(ag, aggregate(AGE ~ ID, data=dx, function(x) x[1]), "ID")
+ ag <- merge(ag, aggregate(FEM ~ ID, data=dx, function(x) x[1]), "ID")
+ }))
   user  system elapsed 
  9.264   0.009   9.301

Порівняльні терміни:

1) Рішення Метта:

> system.time(replicate(1000, {
+ agg <- by(dx, dx$ID, FUN = function(x) x[1, ])
+ # Which returns a list that you can then convert into a data.frame thusly:
+ do.call(rbind, agg)
+ }))
   user  system elapsed 
  3.759   0.007   3.785

2) Розробка форми Зака2:

> system.time(replicate(1000, {
+ dx <- melt(dx,id=c('ID','FEM'))
+ dcast(dx,ID+FEM~variable,fun.aggregate=mean)
+ }))
   user  system elapsed 
 12.804   0.032  13.019

3) рішення даних Стіва:

> system.time(replicate(1000, {
+ dxt <- data.table(dx, key='ID')
+ dxt[, .SD[1,], by=ID]
+ }))
   user  system elapsed 
  5.484   0.020   5.608 
> dxt <- data.table(dx, key='ID') ## one time step
> system.time(replicate(1000, {
+ dxt[, .SD[1,], by=ID] ## try this one line on own
+ }))
   user  system elapsed 
  3.743   0.006   3.784

4) Швидке рішення Чейза, використовуючи числовий, а не множник ID:

> dx2 <- within(dx, ID <- as.numeric(ID))
> system.time(replicate(1000, {
+ dy <- dx[order(dx$ID),]
+ dy[ diff(c(0,dy$ID)) != 0, ]
+ }))
   user  system elapsed 
  0.663   0.000   0.663

і 5) Альтернатива Метта Паркера для рішення Чейза за характером чи фактором ID, який трохи швидший, ніж числовий Чейз ID:

> system.time(replicate(1000, {
+ dx[c(TRUE, dx$ID[-1] != dx$ID[-length(dx$ID)]), ]
+ }))
   user  system elapsed 
  0.513   0.000   0.516

Ви можете спробувати використовувати пакет data.table .

Для вашого конкретного випадку, перевертання полягає в тому, що це (шалено) швидко. Перший раз, коли я познайомився з ним, я працював над об’єктами data.frame із сотнями тисяч рядків. "Нормальні" aggregateабо ddplyметоди були використані ~ 1-2 хв для завершення (це було до того, як Хедлі ввів idata.frameмоджо в ddply). Використовуючи data.table, операція була буквально виконана за лічені секунди.

Мінус у тому, що він настільки швидкий, оскільки він вдасться до вашого data.table (це подібно до data.frame) за допомогою "ключових стовпців" та використовувати розумну стратегію пошуку, щоб знайти підмножини ваших даних. Це призведе до переупорядкування ваших даних перед тим, як збирати статистику над ними.

Враховуючи, що ви просто захочете перший рядок кожної групи - можливо, переупорядкування зіпсує, який рядок є першим, тому це може бути невідповідним у вашій ситуації.

У будь-якому випадку, вам доведеться судити про те, чи data.tableпідходить тут чи ні , але саме так ви використовуєте це з поданими вами даними:

install.packages('data.table') ## if yo udon't have it already
library(data.table)
dxt <- data.table(dx, key='ID')
dxt[, .SD[1,], by=ID]
     ID AGE FEM
[1,]  1  30   1
[2,]  2  40   0
[3,]  3  35   1

Оновлення: Меттью Даул (головний розробник пакету data.table) запропонував кращий / розумніший / (надзвичайно) більш ефективний спосіб використання data.table для вирішення цієї проблеми як одну з відповідей тут ... обов'язково перевірте це .

Спробуйте змінити форму2

library(reshape2)
dx <- melt(dx,id=c('ID','FEM'))
dcast(dx,ID+FEM~variable,fun.aggregate=mean)

Ви можете спробувати

agg <- by(dx, dx$ID, FUN = function(x) x[1, ])
# Which returns a list that you can then convert into a data.frame thusly:
do.call(rbind, agg)

Я навіть не маю уявлення, чи все це буде швидше, ніж plyrвсе-таки.