MySQL завантажує значення NULL з даних CSV

У мене є файл, який може містити від 3 до 4 стовпців числових значень, які розділені комою. Порожні поля визначаються за винятком випадків, коли вони знаходяться в кінці рядка:

1,2,3,4,5
1,2,3,,5
1,2,3

Наступна таблиця створена в MySQL:

+ ------- + -------- + ------ + ----- + --------- + ------- +
| Поле | Тип | Нульовий | Ключові | За замовчуванням | Додаткові |
+ ------- + -------- + ------ + ----- + --------- + ------- +
| один | int (1) | ТАК | | NULL | |
| два | int (1) | ТАК | | NULL | |
| три | int (1) | ТАК | | NULL | |
| чотири | int (1) | ТАК | | NULL | |
| п’ять | int (1) | ТАК | | NULL | |
+ ------- + -------- + ------ + ----- + --------- + ------- +

Я намагаюся завантажити дані за допомогою команди MySQL LOAD:

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n";

Отримана таблиця:

+ ------ + ------ + ------- + ------ + ------ +
| один | два | три | чотири | п’ять |
+ ------ + ------ + ------- + ------ + ------ +
| 1 | 2 | 3 | 4 | 5 |
| 1 | 2 | 3 | 0 | 5 |
| 1 | 2 | 3 | NULL | NULL |
+ ------ + ------ + ------- + ------ + ------ +

Проблема полягає в тому, що коли поле в порожніх даних порожнє і не визначене, MySQL чомусь не використовує значення за замовчуванням стовпців (яке NULL) і використовує нуль. NULL правильно використовується, коли поле взагалі відсутнє.

На жаль, я маю змогу розрізнити NULL від 0 на цьому етапі, тому будь-яка допомога буде вдячна.

Дякую С.

редагувати

Вихід ПОПЕРЕДЖЕНЬ:

+ --------- + ------ + -------------------------------- ------------------------ +
| Рівень | Код | Повідомлення |
+ --------- + ------ + -------------------------------- ------------------------ +
| Попередження | 1366 | Неправильне ціле значення: '' для стовпця 'чотири' у рядку 2 |
| Попередження | 1261 | Рядок 3 не містить даних для всіх стовпців |
| Попередження | 1261 | Рядок 3 не містить даних для всіх стовпців |
+ --------- + ------ + -------------------------------- ------------------------ +

Це зробить те, що ви хочете. Він зчитує четверте поле в локальну змінну, а потім встановлює фактичне значення поля NULL, якщо локальна змінна в кінцевому підсумку містить порожню рядок:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(one, two, three, @vfour, five)
SET four = NULLIF(@vfour,'')
;

Якщо вони, можливо, порожні, ви б прочитали їх усі в змінні і мали кілька операторів SET, наприклад:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(@vone, @vtwo, @vthree, @vfour, @vfive)
SET
one = NULLIF(@vone,''),
two = NULLIF(@vtwo,''),
three = NULLIF(@vthree,''),
four = NULLIF(@vfour,'')
;

Посібник для MySQL говорить:

Під час зчитування даних із ЗАВАНТАЖЕННЯ ДАНИХ INFILE порожні або відсутні стовпці оновлюються символом ''. Якщо ви хочете значення NULL у стовпці, слід використовувати \ N у файлі даних. Буквальне слово "NULL" також може вживатися за певних обставин.

Тому вам потрібно замінити пробіли на \ N, як це:

1,2,3,4,5
1,2,3,\N,5
1,2,3

Поведінка відрізняється залежно від конфігурації бази даних. У жорсткому режимі це призведе до помилки, інакше попередження. Наступний запит може бути використаний для ідентифікації конфігурації бази даних.

mysql> show variables like 'sql_mode';

Попередньо обробіть вхідний CSV, щоб замінити порожні записи на \ N.

Спроба в регулярному вираженні: s / ,, /, \ n, / g і s /, $ /, \ n / g

Удачі.

(змінний1, @ змінний2 ...

показати змінні

Show variables like "`secure_file_priv`";

Примітка: утримуйте файл csv у місці, вказаному вищевказаною командою.

create table assessments (course_code varchar(5),batch_code varchar(7),id_assessment int, assessment_type varchar(10), date int , weight int);

Примітка: тут dateстовпець ' ' має деякі порожні значення у файлі csv.

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/assessments.csv' 
INTO TABLE assessments
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '' 
LINES TERMINATED BY '\n' 
IGNORE 1 ROWS 
(course_code,batch_code,id_assessment,assessment_type,@date,weight)
SET date = IF(@date = '', NULL, @date);