Простий, надійний, відкритий та сумісний формат простого тексту для зберігання даних

У попередньому запитанні я запитав про інструменти для редагування файлів CSV .

Гевін посилається на коментар до R Help від Duncan Murdoch, припускаючи, що формат обміну даними - більш надійний спосіб зберігання даних, ніж CSV.

Для деяких додатків потрібна спеціальна система управління базами даних. Однак для невеликих масштабів аналізу даних здається більш підходящим.

Розглянемо наступні критерії оцінки формату файлу:

• надійність : введені дані повинні залишатися вірними тому, що було введено; дані повинні відкриватися послідовно в різному програмному забезпеченні;
• просто : було б непогано, якби формат файлу було легко зрозуміти і в ідеалі читати за допомогою простого текстового редактора; слід легко створити просту програму для читання та запису формату.
• відкрито : формат повинен бути відкритим
• сумісна : формат файлу повинен підтримуватися багатьма системами

Я знаходжу, що формати значень, розділених вкладками та комами, не відповідають вимогам критерію надійності. Хоча я думаю, що я можу звинуватити програми імпорту та експорту, а не формат файлів. Мені часто доводиться вносити невеликі корективи в параметри read.table, щоб не допустити, щоб якийсь дивний персонаж порушив завантаження кадру даних.

Запитання

• Який формат файлу найкраще відповідає цим потребам?
• Чи краща альтернатива формату обміну даними? чи у нього є свої проблеми?
• Чи є якийсь інший формат, який є кращим?
• Чи я несправедливо оцінюю TSV та CSV? Чи є простий набір порад щодо роботи з такими файлами, які роблять формат файлу більш надійним?

Цікаво, чи тут відбувається зіткнення за критеріями.

Одна скарга щодо форматів файлів, таких як Excel, SQL тощо, полягає в тому, що ви повинні заздалегідь визначити типи даних, щоб вони добре поводилися, що суперечить критерію "щось більш легкий" (наскільки я розумію, що ваше обмеження має більше часу пов'язані, ніж обчислювально).

На відміну від цього, критерії, за якими він не мукує дані, або дозволяють мукувати дані, вимагають певної перевірки помилок. Якщо ви не дозволите системі автоматично магічно розраховувати типи даних (а це, по суті, там, де Excel вас відмовляє), немає ніякого способу скласти торт і з'їсти його теж.

ІМО, з двох, другий критерій є важливішим. Після порушення цілісності даних ускладнення чи неможливість аналізу. Втрачені спостереження або недійсні значення (якщо їх не перевірено належним чином) можуть зіпсувати все.

Що стосується DIF, то фактичний вихідний текст не є читабельним для людини і людям буде складно (IMO) зробити введення даних.

ІМО, ви повинні дати розмежуваним файлам справедливий струс. Як згадувалося вище в коментарях, "керування даними" є здебільшого виною підмножини інструментів, які ви використовуєте. Добре поводиться програми не повинні маніпулювати файлами з обмеженими можливостями. Найбільшим джерелом манлінгу є погано визначений роздільник. Наприклад, якщо у ваших даних можуть бути коми, CSV є недоречним. Якщо це може мати вкладки, TSV недоцільно. Для багатьох (але не всіх) програм ви можете вказати альтернативний роздільник. Наприклад, я використовував тильду (~) у кількох важких випадках.

По суті, я б вважав файли RData, створені самим R, як годиться

• надійний (перевірити)
• простий (назвіть це нічия - формат двійковий)
• відкрити (перевірте: не відкриється більше, ніж вихідний код R)
• сумісний (перевірка: працює скрізь R працює)

Досить близько для мене. Якщо під системами ви маєте на увазі додатки, а не операційну систему, то останній пункт - це збій.

О, і RData ефективна, оскільки файли тепер за замовчуванням стискаються (що раніше було опцією, яка була вимкнена за замовчуванням).

У відповідь на відповідь Дірка Еддельбуеттеля, я пропоную використовувати формат файлів HDF5 . Він менш простий, ніж формат RData, або, можна сказати, "більш багатий", але, безумовно, більш сумісний (може використовуватися в C, Java, Matlab тощо). Я виявив, що введення / вивід із залученням великих файлів HDF5 дуже швидкий.

Я не зовсім впевнений, чому фіксований формат тексту з відповідними метаданими не відповідає вашим критеріям. Читати не так просто, як роздільник, але для використання інформації у будь-якому випадку вам потрібні метадані. Завдання написання синтаксису для читання програми просто залежить від того, наскільки велика і складна структура набору даних. SPSS та Excel мають графічний інтерфейс, який допомагає виконувати ці завдання.

З CSV-файлами, з якими я зіткнувся, є лише дві помилки:

1. Пропущені поля без роздільників (тому кожне інше поле в цьому записі замінено, у мене також була проблема з відсутніми тегами в XML)
2. Кома в текстовому рядку

(якщо у вас виникли інші проблеми, не соромтесь наводити приклади)

Два вирішуються більш нерегулярним роздільником, як запропонував drnexus (труба (|) - це те, з чим я вже зустрічався раніше, але тильда (~) працює так само добре, що жоден з них, ймовірно, не буде включений у рядкові поля). Один - це Проблема не легко вирішується будь-яким програмним забезпеченням, яке ви використовуєте, і обидва - це проблеми з тим, як люди писали файли для початку, а не програмним забезпеченням, яке використовується для читання файлів.

Я також хотів би сказати, що я погоджуюся з drnexus і щодо цього потоку, і від його відповіді на інший останній потік про редагування цих файлів. Ви ніби скаржитеся на програмне забезпечення, яке ви використовуєте (зокрема Excel), і просите зберігати дані у форматі, який відповідає вашому недоброзичливому програмному забезпеченню. Можливо, питання має полягати в тому, як змусити Excel зупинити автоматичне форматування простих текстових файлів. Вашими надійними критеріями, як мені здається, є проблема програмного забезпечення з читанням простих текстових файлів. Я не використовую R для управління даними, але мені не доводилося так важко читати розмежовані файли в SPSS, як ви, здається, пропонуєте.

Якщо оригінальні файли не написані належним чином, що змушує вас надійно прочитати файл? І конкретний формат файлу, безумовно, не завадить вам неправильно записати дані до того типу файлу, який ви вирішите почати.

Поширена проблема простого тексту - це те, що він не може зберігати метадані. Як визначити відсутні дані? Як ви визначаєте 1 = сильно не згоден, 2 = не згоден, ... види матеріалів у простому текстовому форматі? При простому текстовому форматі вам потрібно використовувати інший документ для визначення цих метаданих. І це не просто зробити в XML.

Іноді це питання може бути дуже тривожним.

Моє рішення - використовувати формат даних SPSS, який є автономним та простим для редагування в SPSS. Я знаю, що це неправильна відповідь на ваше запитання, але я дуже довго боровся з тією ж проблемою, і це моє поточне рішення.