Як додати стовпчик до великої таблиці в MySQL

Я розробник PHP, тому не будьте суворими. У мене великий стіл ~ 5,5 Гб дамп. Наш прем'єр вирішив створити в ній нову колонку, щоб виконати нову функцію. Таблиця - InnoDB, тому що я спробував:

1. Змінення таблиці на екрані з блокуванням таблиці. Взяв ~ 30 годин і нічого. Тому я просто зупинив це. По-перше, я помилився, бо не закінчив усі транзакції, але другий раз не було багатоблоків. Статус був copy to tmp table.

2. Оскільки мені також потрібно застосувати розділ для цієї таблиці, ми вирішимо зробити дамп, перейменувати та зробити таблицю з тим самим іменем та новою структурою. Але дамп робить сувору копію (принаймні, я чогось іншого не знайшов). Тож я додав, щоб скинути новий стовпчик sedі запитати його. Але почалися якісь дивні помилки. Я вважаю, що це було спричинено колом. Таблиця в utf-8 і файл стала us-ascii після sed. Тому я отримав помилки (невідома команда '\' ') на 30% даних. Тож це теж поганий спосіб.

Які ще варіанти для досягнення цього та швидкість роботи (я можу це зробити за допомогою php-скрипту, але це займе віки). Якою буде результативність INSERT SELECTу цьому випадку.

Дякую за будь-який заздалегідь.

Використовуйте MySQL Workbench . Ви можете клацнути правою кнопкою миші таблицю і вибрати "Надіслати в редактор SQL" -> "Створити заяву". Таким чином, жодна таблиця "властивостей" не забудеться додавати (включаючи CHARSETабо COLLATE).
Завдяки цій величезній кількості даних я рекомендую прибрати чи таблицю, або структуру даних, яку ви використовуєте (хороша DBA стане в нагоді). Якщо це неможливо:

• перейменуйте таблицю ( ALTER) та створіть нову зі CREATEсценарієм, отриманим від Workbench. Ви також можете розширити цей запит за допомогою нового поля, яке вам потрібно
• BULK ЗАВАНТАЖИТИ дані зі старої таблиці в нову:

  SET FOREIGN_KEY_CHECKS = 0;
  SET UNIQUE_CHECKS = 0;
  SET AUTOCOMMIT = 0;
  INSERT INTO new_table (fieldA, fieldB, fieldC, ..., fieldN)
     SELECT fieldA, fieldB, fieldC, ..., fieldN
     FROM old_table
  SET UNIQUE_CHECKS = 1;
  SET FOREIGN_KEY_CHECKS = 1;
  COMMIT;

  
  Таким чином ви уникаєте індексування / тощо для запуску запису за записом. "Оновлення" таблиці все ще буде повільним (оскільки кількість даних величезна), але це найшвидший спосіб, про який я можу придумати.
  
  EDIT: Прочитайте цю статтю, щоб отримати детальну інформацію про команди, використані у наведеному вище прикладі запиту;)

Ваша ідея sed - це гідний метод, але без помилок чи команди, яку ви виконали, ми не зможемо вам допомогти.

Однак добре відомим способом внесення змін в Інтернет до великих таблиць є pt-online-schema-change . Спрощений огляд того, що робить цей інструмент, скопійовано з документації:

pt-online-schema-change працює, створюючи порожню копію таблиці для зміни, змінюючи її за бажанням, а потім копіюючи рядки з вихідної таблиці в нову таблицю. Коли копія завершена, вона віддаляється від початкової таблиці та замінює її новою. За замовчуванням він також скидає вихідну таблицю.

Цей спосіб також може зайняти деякий час, але під час процесу оригінальна таблиця буде повністю корисною.

alter table add column, algorithm=inplace, lock=none змінить таблицю MySQL 5.6 без копіювання таблиці та без блокування впливу.

Щойно тестував це вчора, маса вставила 70К рядків у таблицю розділів 7 280 К, 10 рядків у кожну секцію, з 5-секундним сном між ними, щоб дозволити іншу пропускну здатність.

Розпочав масові вставки, потім на окремому сеансі запустив онлайн- alterоператор вище в MySQL Workbench, alterготовий до вставлень, два нові стовпці були додані, і жодних рядків не виникла з змін, що означає, що MySQL не копіював жодних рядків.

Наразі найкращим варіантом для зміни величезних таблиць є, мабуть, https://github.com/github/gh-ost

gh-ost - безперервне онлайн-рішення для міграції схем для MySQL. Це перевіряється і забезпечує призупиненість, динамічне управління / конфігурацію, аудит та багато оперативних пристрастей.

gh-ost виробляє легке навантаження на майстра протягом усієї міграції, відокремлене від існуючого навантаження на перенесеному столі.

Він був розроблений на основі багаторічного досвіду існуючих рішень та змінює парадигму міграцій таблиць.

Я думаю, що Mydumper / Myloader - це хороший інструмент для таких операцій: з кожним днем ​​стає все краще. Ви можете використовувати свої процесори та паралельно завантажувати дані: http://www.percona.com/blog/2014/03/10/new-mydumper-0-6-1-release-offers-several-performance-and- юзабіліті-особливості /

Мені вдалося завантажити сотні гігабайт MySQL таблиць за години.

Тепер, коли мова заходить про додавання нового стовпця, складно, оскільки MySQL копіює всю таблицю в TMPобласть пам’яті. ALTER TABLE...Хоча MySQL 5.6 говорить, що може робити зміни в схемі в Інтернеті, я не встиг зробити їх в Інтернеті для масивних таблиць без блокування суперечка поки що.

у мене просто була та сама проблема. Трохи вирішення:

СТВОРИТИ ТАБЛИЦЮ new_table SELECT * FROM oldtable;

ВИДАЛИТИ З нового_таблиці

ALTER TABLE new_table ADD COLUMN new_column int (11);

ВСТАВЛЯЙТЬСЯ у новий_таблицю вибору *, 0 від старого_таблиці

осінній стіл old_table; перейменувати таблицю new_table TO old_table;