Використовуючи R для завантаження файлів, що зберігаються у форматі даних, вилучення та імпорту даних

@EZGraphs у Twitter пише: "Багато інтернет-файлів csvs застебнуто. Чи є спосіб завантажити, розпакувати архів і завантажити дані до кадру даних за допомогою R? #Rstats"

Я також намагався це зробити сьогодні, але закінчилося просто завантаження zip-файлу вручну.

Я спробував щось на кшталт:

fileName <- "http://www.newcl.org/data/zipfiles/a1.zip"
con1 <- unz(fileName, filename="a1.dat", open = "r")

але я відчуваю себе так, ніби мені далеко. Будь-які думки?

Архів Zip - це фактично більше "файлова система" з метаданими вмісту тощо. Детальніше help(unzip)див. Отже, щоб зробити те, що ви накреслили вище, вам потрібно

1. Створіть темп. назва файлу (наприклад tempfile())
2. Використовуйте download.file()для отримання файлу в темп. файл
3. Використовуйте unz()для вилучення цільового файлу з темп. файл
4. Видаліть тимчасовий файл через unlink()

що в коді (спасибі за основний приклад, але це простіше) виглядає

temp <- tempfile()
download.file("http://www.newcl.org/data/zipfiles/a1.zip",temp)
data <- read.table(unz(temp, "a1.dat"))
unlink(temp)

Стислі ( .z) або gzipped ( .gz) або bzip2ed ( .bz2) файли - це лише той файл, який ви можете прочитати безпосередньо із з'єднання. Тож дозвольте постачальнику даних використовувати це замість цього :)

Тільки для запису я спробував перевести відповідь Дірка в код :-P

temp <- tempfile()
download.file("http://www.newcl.org/data/zipfiles/a1.zip",temp)
con <- unz(temp, "a1.dat")
data <- matrix(scan(con),ncol=4,byrow=TRUE)
unlink(temp)

Я використовував CRAN пакет "завантажувач", знайдений на веб-сайті http://cran.r-project.org/web/packages/downloader/index.html . Набагато простіше.

download(url, dest="dataset.zip", mode="wb") 
unzip ("dataset.zip", exdir = "./")

Для Mac (і я вважаю Linux) ...

Якщо ж в архіві містить один файл, ви можете використовувати команду Баша funzip, в зв'язці з freadз data.tableпакета:

library(data.table)
dt <- fread("curl http://www.newcl.org/data/zipfiles/a1.zip | funzip")

У випадках, коли архів містить кілька файлів, ви можете tarзамість цього витягнути певний файл для stdout:

dt <- fread("curl http://www.newcl.org/data/zipfiles/a1.zip | tar -xf- --to-stdout *a1.dat")

Ось приклад, який працює для файлів, які не можуть бути прочитані за допомогою read.tableфункції. Цей приклад читає .xls файл.

url <-"https://www1.toronto.ca/City_Of_Toronto/Information_Technology/Open_Data/Data_Sets/Assets/Files/fire_stns.zip"

temp <- tempfile()
temp2 <- tempfile()

download.file(url, temp)
unzip(zipfile = temp, exdir = temp2)
data <- read_xls(file.path(temp2, "fire station x_y.xls"))

unlink(c(temp, temp2))

Для цього за допомогою data.table я виявив, що працює наступне. На жаль, посилання більше не працює, тому я використав посилання для іншого набору даних.

library(data.table)
temp <- tempfile()
download.file("https://www.bls.gov/tus/special.requests/atusact_0315.zip", temp)
timeUse <- fread(unzip(temp, files = "atusact_0315.dat"))
rm(temp)

Я знаю, що це можливо в одному рядку, оскільки ви можете передавати скрипти bash fread, але я не впевнений, як завантажити .zip файл, витягнути і передати один файл з цього в fread.

Спробуйте цей код. Це працює для мене:

unzip(zipfile="<directory and filename>",
      exdir="<directory where the content will be extracted>")

Приклад:

unzip(zipfile="./data/Data.zip",exdir="./data")