Імпортувати великий файл xlsx у R?

Цікаво, чи знає хтось про спосіб імпорту даних із "великого" файлу xlsx (~ 20 Мб). Я намагався використовувати бібліотеки xlsx та XLConnect. На жаль, обидва використовують rJava, і я завжди отримую однакову помилку:

> library(XLConnect)
> wb <- loadWorkbook("MyBigFile.xlsx")
Error: OutOfMemoryError (Java): Java heap space

або

> library(xlsx)
> mydata <- read.xlsx2(file="MyBigFile.xlsx")
Error in .jcall("RJavaTools", "Ljava/lang/Object;", "invokeMethod", cl,  : 
   java.lang.OutOfMemoryError: Java heap space

Я також намагався змінити java.parameters перед завантаженням rJava:

> options( java.parameters = "-Xmx2500m")
> library(xlsx) # load rJava
> mydata <- read.xlsx2(file="MyBigFile.xlsx")
Error in .jcall("RJavaTools", "Ljava/lang/Object;", "invokeMethod", cl,  : 
   java.lang.OutOfMemoryError: Java heap space

або після завантаження rJava (це, здається, трохи дурно):

> library(xlsx) # load rJava
> options( java.parameters = "-Xmx2500m")
> mydata <- read.xlsx2(file="MyBigFile.xlsx")
Error in .jcall("RJavaTools", "Ljava/lang/Object;", "invokeMethod", cl,  : 
   java.lang.OutOfMemoryError: Java heap space

Але нічого не працює. Хтось має ідею?

Я наткнувся на це питання, коли хтось надіслав мені (ще один) файл Excel для аналізу. Цей навіть не такий великий, але з якоїсь причини я зіткнувся з подібною помилкою:

java.lang.OutOfMemoryError: GC overhead limit exceeded

На основі коментаря @Dirk Eddelbuettel у попередній відповіді я встановив пакет openxlsx ( http://cran.r-project.org/web/packages/openxlsx/ ). а потім побіг:

library("openxlsx")
mydf <- read.xlsx("BigExcelFile.xlsx", sheet = 1, startRow = 2, colNames = TRUE)

Це було саме те, що я шукав. Легкий у використанні та злий швидко. Це мій новий BFF. Дякуємо за підказку @Dirk E!

До речі, я не хочу брати під увагу цю відповідь від Дірка Е, тому, якщо він опублікує відповідь, прийміть її, а не мою!

options(java.parameters = "-Xmx2048m")  ## memory set to 2 GB
library(XLConnect)

дозволити більше пам'яті, використовуючи "параметри" перед завантаженням будь-якого компонента Java. Потім завантажте бібліотеку XLConnect (вона використовує java).

Це воно. Почніть читати дані за допомогою readWorksheet .... тощо. :)

Я погоджуюся з реакцією @orville jackson, і це мені дійсно допомогло.

Відповідь, наданий @orville jackson. ось детальний опис того, як можна використовувати openxlsx для читання та запису великих файлів.

Коли обсяг даних невеликий, у R є багато пакетів та функцій, які можна використовувати відповідно до ваших вимог.

write.xlsx, write.xlsx2, XLconnect також виконують роботу, але іноді вони повільні, порівняно з openxlsx.

Отже, якщо ви маєте справу з великими наборами даних і натрапили на помилки Java. Я б запропонував поглянути на "openxlsx", який дійсно приголомшливий, і скоротити час на 1/12.

Я все перевірив і, нарешті, я був справді вражений продуктивністю можливостей openxlsx.

Ось кроки для запису декількох наборів даних на кілька аркушів.

install.packages("openxlsx")
library("openxlsx")

start.time <- Sys.time()

# Creating large data frame
x <- as.data.frame(matrix(1:4000000,200000,20))
y <- as.data.frame(matrix(1:4000000,200000,20))
z <- as.data.frame(matrix(1:4000000,200000,20))

# Creating a workbook
wb <- createWorkbook("Example.xlsx")
Sys.setenv("R_ZIPCMD" = "C:/Rtools/bin/zip.exe") ## path to zip.exe

Sys.setenv ("R_ZIPCMD" = "C: /Rtools/bin/zip.exe") повинен бути статичним, оскільки він посилається на деяку утиліту з Rtools.

Примітка: Incase Rtools не встановлено у вашій системі, будь ласка, встановіть його спочатку для безперебійної роботи. ось посилання для довідки: (виберіть відповідну версію) https://cran.r-project.org/bin/windows/Rtools/

перевірте параметри за посиланням нижче (потрібно встановити весь прапорець під час встановлення) https://cloud.githubusercontent.com/assets/7400673/12230758/99fb2202-b8a6-11e5-82e6-836159440831.png

# Adding a worksheets : parameters for addWorksheet are 1. Workbook Name 2. Sheet Name

addWorksheet(wb, "Sheet 1")
addWorksheet(wb, "Sheet 2")
addWorksheet(wb, "Sheet 3")

# Writing data in to respetive sheets: parameters for writeData are 1. Workbook Name 2. Sheet index/ sheet name 3. dataframe name

writeData(wb, 1, x)

# incase you would like to write sheet with filter available for ease of access you can pass the parameter withFilter = TRUE in writeData function.
writeData(wb, 2, x = y, withFilter = TRUE)

## Similarly writeDataTable is another way for representing your data with table formatting:

writeDataTable(wb, 3, z)

saveWorkbook(wb, file = "Example.xlsx", overwrite = TRUE)

end.time <- Sys.time()
time.taken <- end.time - start.time
time.taken

Пакет openxlsx дійсно хороший для читання та запису величезних даних із / у файлах Excel і має безліч варіантів спеціального форматування в Excel.

Цікавим фактом є те, що тут нам не потрібно турбуватися про пам’ять купи Java.

Я знаю, що це питання трохи давнє, але сьогодні є гарне рішення для цього. Це пакет за замовчуванням, коли ви намагаєтесь імпортувати Excel у Rstudio з графічним інтерфейсом, і це добре працює в моїй ситуації.

library(readxl)

data <- read_excel(filename)

Як згадувалось у канонічному питанні Excel-> R , нещодавно з’явилася альтернатива виходить із readxlпакету, який, на мою думку, є досить швидким у порівнянні з, наприклад, openxlsxі xlsx.

Тим не менш, існує певна межа розміру електронної таблиці, після якої вам, мабуть, краще просто зберегти річ як .csvта та використовувати fread.

У мене також була однакова помилка в обох xlsx::read.xlsxі XLConnect::readWorksheetFromFile. Можливо, ви можете використовувати RODBC::odbcDriverConnectі RODBC::sqlFetch, який використовує Microsoft RODBC, який набагато ефективніший.

Пропозиція @ flodel про перехід у CSV видається найбільш прямолінійною. Якщо з якихось причин це не варіант, ви можете прочитати у файлі шматками:

 require(XLConnect)
 chnksz <- 2e3
 s <- <sheet>
 wb <- loadWorkbook(<file>, s)
 tot.rows <- getLastRow(wb)
 last.row =0
 for (i in seq(ceiling( tot.rows / chnksz) )) {
    next.batch <- readWorksheet(wb, s, startRow=last.row+i, endRow=last.row+chnksz+i)
    # optionally save next.batch to disk or 
    # assign it to a list. See which works for you. 
 } 

Я знайшов цю тему, шукаючи відповідь на те саме питання. Замість того, щоб намагатися зламати xlsx-файл з R, для мене все закінчилося тим, що він перетворив файл у .csv за допомогою python, а потім імпортував файл у R, використовуючи стандартну функцію сканування.

Перевірте: https://github.com/dilshod/xlsx2csv