Користувачі скаржаться, що система працює повільно, коли виконується mysqldump

База даних MYSQL (ibdata1) має розмір 73 ГБ і налаштована для роботи як виділений сервер бази даних на ОС Windows 2008 O / S для таблиць INNODB. Ми запускаємо резервну копію за допомогою mysqldump mysqldump --skip-opt --quick --single-транзакція --create-options --extended-insert --disable-keys --add-drop-table --complete-insert - set-charset - стиснути --log-error = Proddb0635.err -u root -pjohndoe Proddb> \ devNas \ devNas \ sqlbackup \ LIVE \ db \ Proddb0635.sql

Файл резервного копіювання Proddb0635.sql зберігається на окремому сервері від сервера баз даних. Оперативна пам’ять - 12 ГБ. Розмір басейну INNODB становить 6 ГБ. Додатковий mem.pool - 32 Мб. Розмір кешу запитів - 2 ГБ, чиста довжина буфера - 16 М Макс. розмір пакета 1 Гб.

версія mysql - 5.0.67.

Коли резервне копіювання не працює, користувачі задоволені продуктивністю.

Коли резервне копіювання запущене, частота звернень до пулу INNODB - близько 100%. Немає жодних читання чи записів, що очікують на очікування. innodb зачекати безкоштовно 0. Використання процесора не високе мінімум 9% до максимум 15% Частота звернення до кеш-запитів низька, близько 40% із запуском mysqlbackup або без нього. Наразі Windows Task Manager відображає, що використовується 10 Гб оперативної пам’яті. Чи варто збільшити кеш запитів, лише 2 ГБ оперативної пам’яті? mysqlld-nt займає 9,2 ГБ оперативної пам’яті, а mysqldump - 5 Мб оперативної пам’яті. Алос зазначив, що розмір дамп-файлу однаковий за наявності чи відсутності опції --compress.

Чи можу я зменшити розмір буфера iNNODB?

Дякую

У Windows існує відома проблема, що при натисканні великого файлу на інший сервер вся пам'ять закінчується виділенням в кеш-пам'ять системи замість користувачів-процесів. Ви можете подивитися в розділі "Фізична пам'ять" (MB) менеджера завдань, щоб побачити, скільки пам'яті виділено в системний кеш.

Це можна вирішити, створивши резервну копію на локальному диску, після чого віддалену машину витягніть цей файл.

Ось кілька міркувань щодо покращення продуктивності mysqldump, враховуючи ваші обставини. Ось ваша команда:

mysqldump --skip-opt --quick --single-транзакція --create-options --extended-insert --disable-keys --add-drop table --комплект вставки --set-charset --compress - -log-error = Proddb0635.err -u root -pjohndoe Proddb> \ devNas \ devNas \ sqlbackup \ LIVE \ db \ Proddb0635.sql

Перше, що я помічаю - це ви перенаправляєте вихід до файлової системи. Він говорить "devNas", тому я припускаю, що це мережеве приєднане сховище . Я фанат NAS для резервного копіювання, але він повинен бути підключений на окремому фізичному NIC від виробничого трафіку . Можливо, ви не насичуєте пропускну здатність, але вони все ще конкурують. Це стане більшою проблемою через прапор --quick, оскільки він промиває кожен рядок, а не зберігає його в пам'яті.

Наступне, що я бачу - це те, що ви попросили --compress. Схоже, ви локально використовуєте mysql, оскільки ви не використовували перемикач -h. Для цього можливо використовувати місцевий процесор, що в цьому контексті непотрібне. Чи потрібно - компрес? Він стискає дані лише між клієнтом mysqldump та сервером mysql, а не вмістом файлу.

Далі я бачу, що ви використовуєте прапор --single-транзакції. Це викличе додатковий процесор, оскільки він тестує кожен вибір, як частину mysqldump.

Це не має нічого спільного з продуктивністю, але ви використовуєте клавіші -disable, які працюють лише на MyISAM ( керівництво ).

Ви можете поекспериментувати з віддаленим запуском mysqldump від офлайн-хоста та переміщенням дамп-файлу в NAS після завершення, щоб зняти якомога більше цієї операції з діапазону.

ЗАБЕЗПЕЧЕННЯ №1

Тут потрібно пам’ятати, виконуючи mysqldump проти InnoDB.

Які б брудні сторінки не існували в буферному басейні InnoDB, слід спочатку видалити на диск. Функція mysqldump спровокує промивання таблиці InnoDB, яка все ще містить брудні сторінки.

Існує параметр сервера під назвою innodb_max_dirty_pages_pct . Значенням за замовчуванням 75 є MySQL 5.5 та 90 у версіях MySQL до 5.5. У виробничому середовищі нормально залишити це число за замовчуванням.

Щоб побачити, чи є у вас багато брудних сторінок у басейні InnoDB, запустіть це:

SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_dirty';

До речі, сторінка становить 16 К, як показано з цього:

SHOW GLOBAL STATUS LIKE 'Innodb_page_size';

Якщо мова йде про InnoDB та mysqldump, ви можете знизити це число за двох обставин.

ОБСТОЯТЬ 1: Постійно встановіть його на 0

Просто додайте це до my.ini:

[mysqld]
innodb_max_dirty_pages_pct=0

Це дозволить зберегти буферний басейн InnoDB слабким і середнім. Етап промивання завантаженої таблиці InnoDB буде швидким, оскільки перед тим, як mysqldump працюватиме на ній, потрібно пропустити кілька можливих брудних сторінок (можливо 0).

Єдиний недолік - якщо ви mysqldump з БД з великою торгівлею людьми, можливо, зменшиться кількість вводу / виводу для запису через меншу частоту вимивання брудної сторінки. Ви можете визначити, чи це так без перезавантаження mysql, виконавши це:

SET GLOBAL innodb_max_dirty_pages_pct = 0;

Залиште налаштування на 12-24 години, якщо продуктивність запису прийнятна, ви добре піти. Якщо ні, поверніть його за допомогою:

SET GLOBAL innodb_max_dirty_pages_pct = 90;

ОБСТОЯТЬ 2: Встановіть його на 0 приблизно за 1 годину до mysqldump

SET GLOBAL innodb_max_dirty_pages_pct = 0;

Запустіть mysqldump

SET GLOBAL innodb_max_dirty_pages_pct = 90;

ЗАБЕЗПЕЧЕННЯ №2

У вас є --complete-insert як опція mysqldump. Це вбудує назви стовпців у кожну позицію INSERT перед пунктом VALUES. Навіть із --extended-insert, на кожній вставленій партії рядків імена стовпців надсилаються у mysqldump. Ви можете зменшити кількість байтів, надісланих на mysqldump, видаливши --complete-insert.

РЕКОМЕНДАЦІЯ

Якщо у вас є інший сервер Windows, який можна налаштувати як підлеглий, виконайте mysqldumps з цього раба, а не з виробничої машини.