Читати лише вибрані стовпці


134

Хто-небудь, будь ласка, скажіть мені, як читати лише перші 6 місяців (7 стовпців) для кожного року наведених нижче даних, наприклад, використовуючи read.table()?

Year   Jan  Feb  Mar  Apr  May  Jun  Jul  Aug  Sep  Oct  Nov  Dec   
2009   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25
2010   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25 
2011   -21  -27   -2   -6  -10  -32  -13  -12  -27  -30  -38  -29



2
@CiroSantilli 包子 露 宪 六四 事件 法轮功 впевнений, але ... я запитав спочатку?
StarCub

Я не мав на увазі кращих / гірших відносин. Крім того, немає дублікатів між сайтами, непослідовна мережа обміну
стеками

Відповіді:


157

Скажімо, дані є у файлі data.txt, ви можете використовувати colClassesаргумент, read.table()щоб пропустити стовпці. Тут дані в перших 7 стовпцях є, "integer"а решту 6 стовпців ми встановлюємо із "NULL"зазначенням, що їх слід пропустити

> read.table("data.txt", colClasses = c(rep("integer", 7), rep("NULL", 6)), 
+            header = TRUE)
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

Перейдіть "integer"до одного з прийнятих типів, як детально, ?read.tableзалежно від реального типу даних.

data.txt виглядає так:

$ cat data.txt 
"Year" "Jan" "Feb" "Mar" "Apr" "May" "Jun" "Jul" "Aug" "Sep" "Oct" "Nov" "Dec"
2009 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2010 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2011 -21 -27 -2 -6 -10 -32 -13 -12 -27 -30 -38 -29

і був створений за допомогою

write.table(dat, file = "data.txt", row.names = FALSE)

де datє

dat <- structure(list(Year = 2009:2011, Jan = c(-41L, -41L, -21L), Feb = c(-27L, 
-27L, -27L), Mar = c(-25L, -25L, -2L), Apr = c(-31L, -31L, -6L
), May = c(-31L, -31L, -10L), Jun = c(-39L, -39L, -32L), Jul = c(-25L, 
-25L, -13L), Aug = c(-15L, -15L, -12L), Sep = c(-30L, -30L, -27L
), Oct = c(-27L, -27L, -30L), Nov = c(-21L, -21L, -38L), Dec = c(-25L, 
-25L, -29L)), .Names = c("Year", "Jan", "Feb", "Mar", "Apr", 
"May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"), class = "data.frame",
row.names = c(NA, -3L))

Якщо кількість стовпців заздалегідь невідома, функція утиліти count.fieldsбуде читати файл і рахувати кількість полів у кожному рядку.

## returns a vector equal to the number of lines in the file
count.fields("data.txt", sep = "\t")
## returns the maximum to set colClasses
max(count.fields("data.txt", sep = "\t"))

1
@Benjamin Прочитайте перші пару рядків з файлу, використовуючи аргумент nrows. Потім опрацюйте кількість стовпців, які ви використовуєте ncol(), або ще ви хочете опрацювати кількість стовпців для читання / ігнорування. Потім прочитайте повний файл, використовуючи цю інформацію.
Гевін Сімпсон,

1
?? Якщо ви не знаєте кількість стовпців, як ще ви збираєтесь її визначити, не прочитавши трохи, щоб вивести, скільки їх?
Гевін Сімпсон,

1
@BlueMagister Дякую за редагування та згадування про те, count.fields()що автоматизує процес, який я запропонував у коментарях.
Гевін Сімпсон

1
@ LéoLéopoldHertz 준영 Ні, і я не впевнений, як така річ працювала б для класів рядків, як у кадрі даних, хоча кожен стовпець може бути іншого типу, кожен рядок за визначенням і, як наслідок, не обмежений. Вам потрібно буде відфільтрувати порожні рядки тощо при імпорті.
Гевін Сімпсон

1
@rmf Ви можете передати count.fields()текстове з'єднання, тож прочитайте деяку підмножину рядків за допомогою txt <- readLines(....), потім створіть з'єднання з прочитаним у рядках con <- textConnection(txt), потім зробіть count.fields(txt). Обов'язково використовуйте skipв count.fields()пропустити рядок заголовка , якщо є один; ви не можете пропустити рядки у файлі, використовуючи readLines().
Гевін Сімпсон

82

Щоб прочитати певний набір стовпців із набору даних, є кілька інших варіантів:

1) З freadвід data.table-package:

Ви можете вказати бажані стовпці з selectпараметром з freadз data.tableпакета. Ви можете вказати стовпці з вектором імен стовпців або номерами стовпців.

Для прикладу набору даних:

library(data.table)
dat <- fread("data.txt", select = c("Year","Jan","Feb","Mar","Apr","May","Jun"))
dat <- fread("data.txt", select = c(1:7))

Крім того, ви можете використовувати dropпараметр, щоб вказати, які стовпці не слід читати:

dat <- fread("data.txt", drop = c("Jul","Aug","Sep","Oct","Nov","Dec"))
dat <- fread("data.txt", drop = c(8:13))

Усі результати в:

> data
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

ОНОВЛЕННЯ: Коли ви не хочете freadповертати таблицю даних , використовуйте параметр data.table = FALSE, наприклад:fread("data.txt", select = c(1:7), data.table = FALSE)

2) З read.csv.sqlвід sqldf-package:

Ще одна альтернатива - це read.csv.sqlфункція з sqldfпакета:

library(sqldf)
dat <- read.csv.sql("data.txt",
                    sql = "select Year,Jan,Feb,Mar,Apr,May,Jun from file",
                    sep = "\t")

3) За допомогою read_*-функцій із readr-пакету:

library(readr)
dat <- read_table("data.txt",
                  col_types = cols_only(Year = 'i', Jan = 'i', Feb = 'i', Mar = 'i',
                                        Apr = 'i', May = 'i', Jun = 'i'))
dat <- read_table("data.txt",
                  col_types = list(Jul = col_skip(), Aug = col_skip(), Sep = col_skip(),
                                   Oct = col_skip(), Nov = col_skip(), Dec = col_skip()))
dat <- read_table("data.txt", col_types = 'iiiiiii______')

З документації пояснення використаних символів з col_types:

кожен символ являє собою один стовпець: c = символ, i = ціле число, n = число, d = подвійне, l = логічне, D = дата, T = час дати, t = час,? = здогадуйтесь, або _ / - щоб пропустити стовпець


freadОднак не підтримує стиснуті файли. Великі файли зазвичай стискаються.
CoderGuy123

Існує запит на можливість включення цього в fread. Варто зауважити, що з freadвеликою часткою ймовірності прочитати нестиснений файл буде значно швидше, ніж read.tableпрочитати стислий файл. Дивіться тут приклад .
Jaap

Деякі нестиснені файли занадто великі. Наприклад, я працюю з 1000 файлами геномів. Вони можуть бути нетисненими 60 Гб.
CoderGuy123

1
Як ви, напевно, знаєте, R зчитує дані в пам'яті. Незалежно від того, чи читаєте ви заархівований файл або розпакований файл, це не впливає на розмір отриманих даних у пам'яті. Якщо у вас є 60 ГБ файлів, read.tableце не збереже вас. У такому випадку ви можете подивитися на ff-пакет.
Jaap

2
@Deleet Ви могли б використовувати freadдля читання великих стислих файлів , як це: fread("gunzip -c data.txt.gz", drop = c(8:13)).
arekolek

8

Ви також можете використовувати JDBC для цього. Створимо зразок CSV-файлу.

write.table(x=mtcars, file="mtcars.csv", sep=",", row.names=F, col.names=T) # create example csv file

Завантажте та збережіть драйвер CSV JDBC за цим посиланням: http://sourceforge.net/projects/csvjdbc/files/latest/download

> library(RJDBC)

> path.to.jdbc.driver <- "jdbc//csvjdbc-1.0-18.jar"
> drv <- JDBC("org.relique.jdbc.csv.CsvDriver", path.to.jdbc.driver)
> conn <- dbConnect(drv, sprintf("jdbc:relique:csv:%s", getwd()))

> head(dbGetQuery(conn, "select * from mtcars"), 3)
   mpg cyl disp  hp drat    wt  qsec vs am gear carb
1   21   6  160 110  3.9  2.62 16.46  0  1    4    4
2   21   6  160 110  3.9 2.875 17.02  0  1    4    4
3 22.8   4  108  93 3.85  2.32 18.61  1  1    4    1

> head(dbGetQuery(conn, "select mpg, gear from mtcars"), 3)
   MPG GEAR
1   21    4
2   21    4
3 22.8    4

0

Ви робите це так:

df = read.table("file.txt", nrows=1, header=TRUE, sep="\t", stringsAsFactors=FALSE)
colClasses = as.list(apply(df, 2, class))
needCols = c("Year", "Jan", "Feb", "Mar", "Apr", "May", "Jun")
colClasses[!names(colClasses) %in% needCols] = list(NULL)
df = read.table("file.txt", header=TRUE, colClasses=colClasses, sep="\t", stringsAsFactors=FALSE)
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.