Створіть таблицю з файлу CSV із заголовками

Я прагну знайти спосіб генерування нової таблиці MySQL виключно на основі вмісту зазначеного CSV. CSV-файли, які я буду використовувати, мають такі властивості;

• "|" розмежоване.
• Перший рядок вказує назви стовпців (заголовки), також "|" розмежоване.
• Назви стовпців та порядок не фіксуються.
• Кількість стовпців не фіксована.
• Файли великого розміру (1 млн рядків / 50 стовпців).

У Excel це все досить просто, однак у MySQL це не здається (не пощастило Google). Будь-які пропозиції щодо того, на що я повинен дивитись?

Ви можете використовувати csvsql , який є частиною csvkit(набір утиліт для перетворення та роботи з файлами CSV):

• Linux або Mac OS X
• вільний та відкритий код
• sudo pip install csvkit
• Приклад: csvsql --dialect mysql --snifflimit 100000 datatwithheaders.csv > mytabledef.sql
• Він створює CREATE TABLEоператор на основі вмісту файлу. Назви стовпців беруться з першого рядка файлу CSV.

Якщо ви все добре використовуєте Python, Pandas працював для мене чудово (csvsql повісився назавжди і менше знаків і рядків, ніж у вашому випадку). Щось на зразок:

from sqlalchemy import create_engine
import pandas as pd

df = pd.read_csv('/PATH/TO/FILE.csv', sep='|')
# Optional, set your indexes to get Primary Keys
df = df.set_index(['COL A', 'COL B'])

engine = create_engine('mysql://user:pass@host/db', echo=False)

df.to_sql(table_name, engine, index=False)

Вам потрібно створити CREATE TABLE на основі типів даних, розміру тощо з різних стовпців.

Тоді ви використовуєте ЗАВАНТАЖЕННЯ ДАНИХ INFILE ... ПОЛИ, ЗАВЕРШЕНІ '|' ЛІНІЇ, ЗАКРІТНІ "\ n" ЛІНКОЮ 1 ЛІНЮ ...; (Детальну інформацію див. На сторінці керівництва.)

Зробіть так само для кожної таблиці csv ->.