Найкращий спосіб просто зберігати дані для статистичного аналізу в R [закрито]

Я вже деякий час використовую текстові файли, щоб зберігати свої дані для R без жодних проблем. Але для недавнього проекту розміри файлів стають занадто великими, щоб обробляти текстові файли. Яка найкраща проста альтернатива?

Стандартний R підхід полягає у використанні saveта load. Якщо ви запустите saveваш кадр даних після імпорту та анотування, ви можете вказати, compress=TRUEі ви будете вражені стисненням та швидким loadчасом. Це особливо добре спрацьовує, якщо розмір об'єкта менше 400 Мб. В іншому випадку, ознайомтеся з деякими пропозиціями, викладеними вище, чи потужним ffпакетом у Р.

HmiscПакет має невеликі обгортки Saveі Loadзробити вище ще більш безболісним:

mydata <- csv.get(...)  # Hmisc package, has several options
Save(mydata)   # writes mydata.rda to current working directory
....
Load(mydata)   # reads mydata.rda and creates mydata data frame

Погляньте на бази даних SQLite3. Кожна база даних є файлом, тому вона не потребує налаштування сервера баз даних.

Щоб створити базу даних:

$ sqlite3 my_db.db3
> CREATE TABLE my_table ( col1 TEXT );

Для використання з R https://gist.github.com/lynaghk/1062939

Існує ряд загальних варіантів.

• Ви можете стиснути текст.
• Ви можете переходити до тексту в двійковому вигляді, а не писати в ascii

Велике стиснення залежить від даних.

Моя здогадка (а ви її не вказали, тому я мушу здогадуватися) полягає в тому, що ви хочете зберігати дані, подібні до електронних таблиць, у чомусь іншому, ніж у форматі csv (з комами).

Один з моїх улюблених форматів (я люблю MatLab) - це hdf.

Ось інформація, що стосується RF:

• доступ до пакетів hdf5, h5r, rhdf5 біокондуктора, RNetCDF, ncdf та ncdf4
• http://www.hdfgroup.org/HDF5/whatishdf5.html

Це суперкомп'ютерний формат зберігання даних високої щільності. Це може бути дуже швидко та ефективно. Він також (не дивно) щільніше, ніж зашифрований текст.

Стандартні функції зчитування файлів у R тепер автоматично автоматично зчитують gzipped файли. Отже, просто запустіть просту компресію gzip на своїх даних і прочитайте, як завжди, як би це був звичайний текст.

read.table('myfile.gz')