Який найкращий спосіб ВСТАВИТИ великий набір даних у базу даних MySQL (або будь-яку базу даних взагалі)

Як частина проекту PHP, я повинен вставити рядок у базу даних MySQL. Я, очевидно, звик це робити, але це вимагало введення в 90 стовпців за один запит. Отриманий запит виглядає жахливим і монолітним (особливо вставляючи мої змінні PHP як значення):

INSERT INTO mytable (column1, colum2, ..., column90) 
VALUES
('value1', 'value2', ..., 'value90')

і я стурбований тим, що я не буду про це робити правильно. Також мені знадобилося довгий (нудний) час, щоб просто набрати все, і тестування написання тестового коду буде настільки ж стомлюючим, що я боюся.

Як професіонали швидко працюють із написанням та тестуванням цих запитів? Чи є спосіб я прискорити процес?

Джо, твій останній коментар багато пояснив. Я думаю, що справжня проблема - це дизайн даних. Можуть знадобитися нові стовпці, коли змінюється формат документа, і, на мій досвід, формати документів, як правило, часто змінюються. Замість таблиці з 90 стовпцями, з одним рядком на звіт, я б зберігав дані звіту в таблиці з чотирма стовпцями: report_id, format_id, field_name, field_value. Кожен звіт буде представлений 90 рядками, по одному для кожного значення поля у звіті. Це має значно спростити код.

Загалом, найшвидший спосіб завантаження великого набору даних у базу даних SQL - це використання власного інтерфейсу для масового завантаження. Наскільки я знаю, кожен dbms SQL має щонайменше один.

Документи MySQL: використання групового навантажувача

Якщо мені доведеться перетворити файл з обмеженими комами або комами в оператори SQL INSERT, я використовую awk, щоб прочитати вхідний файл і написати вихідний файл. Немає нічого насправді про awk; це просто трапляється мовою обробки тексту, яку я найкраще знаю. Ви можете отримати ті самі результати, написавши код у Perl, Python, Ruby, Rexx, Lisp тощо.

Якщо ви можете легко отримати імена стовпців у таблицю Excel, ви можете написати макроси Excel для створення коду для різних запитів та висловлювань DML, а потім просто вставити значення в інший стовпець, і ваш оператор вставлення / оновлення буде створений автоматично для вас. Введення вручну - це дуже повільний спосіб, тому подивіться, чи зможете ви знайти хитрощі, використовуючи наявні інструменти. Багато текстових редакторів, орієнтованих на розробників, також мають можливість записувати та зберігати макроси, щоб зробити такі повторювані завдання набагато швидшими та простішими.

Якщо у вас є файл csv, ви можете використовувати ІМФІЛ ЗАВАНТАЖЕННЯ ДАНИХ ... для імпорту даних.

Якщо вам доведеться використовувати "INSERT" запити, то виконання масових вставок прискорить процес. Замість запуску запиту "ВСТАВИТЬ" для кожного ряду, згрупуйте рядки, скажімо, 100 та запустіть запит. Щось на зразок цього:

INSERT INTO theTable (col1, col2, col3,....., col89, col90) 
VALUES
(val11, val12, val13, ........, val189, val190),
(val21, val22, val23, ........, val289, val290),
.......
......
(val101, val102, val103, ........, va1089, val1090);

Ефективним способом запису даних запитів у кілька стовпців у MySQL DB є перетворення цих даних у формат JSON або YAML та вставлення їх як єдине ціле. Це змінює "написати вставку для таблиці з 90 стовпцями" на "написати вставку в таблицю з одним стовпцем".

При такому підході не все потрібно розбити на базові компоненти, і єдиний дат зберігається просто в 1 стовпчик.

З MySQL ви можете використовувати альтернативний синтаксис для insertоператорів:

insert into table
        set column1 = value1
          , column2 = value2
          , column3 = value3

Ваш сценарій виглядає як дуже добре підходить для рішення NoSQL, оскільки список атрибутів може змінюватися в будь-який час, коли формат змінюється. Чи оцінювали ви інші варіанти, ніж MySQL? Копати навколо DynamoDB / MongoDB / Cassandra - це може бути краще.

Існує більш ефективний спосіб вставити дані в базу даних за допомогою php та mysql. Ми можемо використовувати ЗАВАНТАЖЕННЯ КОМАНДИ для вставки даних. Він вставляє дані надзвичайно швидко.

Для цього створіть плоский файл (наприклад, я використав файл .csv) зі своїми даними за допомогою fputcsv()функції. Потім вставте дані за допомогою команди LOAD. Синтаксис, що подібне, як нижче:

LOAD DATA LOCAL INFILE "C:/downloads/local/my_data_file.csv"
INTO TABLE  my_data
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES;

Спробуйте наступне. Працювали для мене.

Назви форм повинні дорівнювати назви стовпців бази даних

Отримайте значення, як показано нижче:

foreach ($_GET as $formName => $value) {
    $sql = mysql_query("UPDATE table_name SET $formName = '$value' WHERE ID= $id");
}

Спочатку потрібно вставити ідентифікатор перед циклом foreach. Ви можете отримати наступний ідентифікатор, виконавши:

SELECT MAX(id) FROM .....

додати 1 до ідентифікатора та вставити його.