Як я можу обробляти таблиці з 256+ змінними?

Я працюю з даними перепису і завантажив декілька файлів CSV, кожен із яких має 600ish стовпців / змінних. Я хотів би зберегти їх у базі даних, що має можливість запиту, але все, що я намагався до цього часу (MS Access, таблиця бази даних Arc), обрізає таблицю в 256 стовпців. Чи є рішення для обробки великих таблиць, доступних для тих, хто не є DBA?

PostgreSQL має обмеження стовпців від 250 до 1600 "залежно від типів стовпців" і підтримує просторові дані та запити з розширенням PostGIS. Тому я був би схильний зробити дві речі:

По-перше, коли стовпець представляє категорію, а не вільний текст, створіть окрему таблицю з цими категоріями та замініть стовпчик на ціле ідентифікатор та обмеження зовнішнього ключа, посилаючись на таблицю категорій.

По-друге, розірвіть Третю нормальну форму, розділивши велику таблицю на дві чи більше логічно, і встановіть між собою відносини один на один. Це, мабуть, не найефективніше, але якщо вам рідко потрібні деякі дані, то запит може бути просто на потрібних таблицях.

Іншою абсолютно іншою альтернативою було б використання бази даних "NOSQL", таких як MongoDB, CouchDB тощо. Немає жодних обмежених на обмеження розміру "рядок", і якщо даних немає для запису, він не повинен займати місця.

Просторова підтримка не настільки хороша для таких типів баз даних великих розмірів, але MongoDB підтримує 2D просторові запити та дані, а CouchDB, схоже, має подібну функціональність.

Нещодавно я розглядав саме таку проблему з CSV-файлами перепису статистики Канади, що містить 2172 стовпців. Ви можете імпортувати свій csv у базу даних геодезичних файлів ESRI (FGDB), якщо у вас є доступ до ArcGIS. Відповідно до ESRI, формат FGDB може обробляти 65 534 поля в класі функцій або таблиці .

У моєму випадку мені вдалося імпортувати мій CSV-файл із широким стовпцем 2172 у таблицю FGDB без жодних проблем.

Як тільки ви отримаєте всю таблицю у FGDB, ви можете її нарізати будь-яким способом (наприклад, логічно або на основі обмежень db), переконуючись, що ви зберігаєте унікальний стовпчик ідентифікатора, щоб переконатися, що ви можете приєднатись до нього як потрібні.

Короткий:
мій варіант для даних з великою кількістю атрибутів або зі змінним типом розподілу для кожного об'єкта - використовувати модель даних KEY / VALUE, вона може бути реалізована та працює дуже добре в sql (я б рекомендував postgresql + postgis).

Опис:
1) У вас є одна таблиця для особливостей, скажімо, пунктів. Ця таблиця містить ідентифікатор та геометрію для кожної точки.

2) У вас є ще одна таблиця для "атрибутів", яка є парами ключ / значення. У цій таблиці є ідентифікатори стовпців, POINT_ID (FK), KEY (varchar), VALUE (varchar).

Тепер кожна точка може мати практично нескінченні атрибути, що зберігаються так:

ID   POINT_ID   KEY   VALUE
1        1      type     burger shop
2        1      name     SuperBurger
3        1      address  123, a ST.

OpenStreetMaps працює так і працює дуже добре, дивіться тут і тут .

Для імпорту даних я запропонував би сценарій python.