Резервне копіювання бази даних MySQL за допомогою знімків ZFS

Я знайшов ряд сайтів, які говорять про те, щоб зробити саме це, але мені не вистачає кількох важливих деталей. Загальні кроки такі

• Біжи FLUSH TABLES WITH READ LOCK
• Зробіть знімок ZFS
• Біжи UNLOCK TABLES

Різні джерела повідомляють, що InnoDB, який я використовую, насправді не шанує FLUSH. Посібник користувача MySQL зазначає, що існує FLUSH TABLES...FOR EXPORTваріант для використання з InnoDB, але для цього потрібно вказувати кожну таблицю окремо, а не створювати резервну копію всієї бази даних. Я вважаю за краще уникати конкретизації кожної таблиці окремо, оскільки є пристойний шанс, що список таблиць не синхронізується з існуючими таблицями.

Інша проблема, яка у мене є, я планував зробити щось подібне mysql -h"$HOST" -u"$USERNAME" -p"$PASSWORD" --execute="FLUSH TABLES WITH READ LOCK". Однак це скидає блокування відразу після завершення сеансу. Це має сенс, але також дуже дратує, оскільки мені потрібно тримати блокування читання, коли я знімаю знімок.

Моя інша ідея - це зробити гарячу резервну копію за допомогою такого інструменту, як Percona XtraBackup, і зробити знімки резервної копії, але я не вважаю за краще платити кошти, щоб записати всі мої дані у друге місце лише для того, щоб зробити знімок.

Якщо ви використовуєте InnoDB лише для всіх таблиць і встановите innodb_flush_log_at_trx_commit:

• 1 (вміст буфера журналів InnoDB виписується у файл журналу при кожному здійсненні транзакції, а файл журналу передається на диск) або,
• 2 (вміст буфера журналів InnoDB записується у файл журналу після кожної транзакції, а файл журналу видається на диск приблизно раз на секунду),

тоді вам не знадобляться СПІЛЬНІ ТАБЛИЦІ, перш ніж робити знімок, просто запустіть знімок ZFS безпосередньо. InnoDB може відновити дані з журналів фіксації транзакцій без втрати даних.

Посилання: https://dev.mysql.com/doc/refman/5.5/uk/innodb-parameters.html#sysvar_innodb_flush_log_at_trx_commit

Вам потрібно повне блокування бази даних, щоб послідовно створювати резервні копії (більшості) баз даних.

У посібнику https://dev.mysql.com/doc/refman/5.5/en/backup-methods.html сказано, що ПОЛІТИ ТАБЛИЦІ З ЧИТАТИ БЛОКУ є правильним для знімків ZFS.

Створення резервних копій за допомогою знімка файлової системи

Якщо ви використовуєте файлову систему Veritas, ви можете зробити резервну копію таким чином:

1. З клієнтської програми виконати FLUSH TABLES WITH READ LOCK.
2. З іншої оболонки виконати vxfsзнімок монтажу .
3. Від першого клієнта виконати UNLOCK TABLES.
4. Скопіюйте файли із знімка.
5. Демонтуйте знімок.

Подібні можливості знімка можуть бути доступні в інших файлових системах, таких як LVM або ZFS.

Смішно, що вони не враховували те, що вам потрібно FLUSH TABLES table_a, table_b, table_c FOR EXPORTдля InnoDB з цих інструкцій. Також нерозумно вказувати кожну таку таблицю. Але як говорить EEAA, ви можете створити список таблиць, коли ви починаєте резервне копіювання досить легко.

Що стосується утримування блокування, то під час виконання знімка потрібно підтримувати активне з'єднання db

Як правило, я б використовував щось на зразок Perl або іншу мову програмування, яка може підключити, заблокувати db і, зберігаючи db-з'єднання, зробити знімок, потім розблокувати та відключити. Це не складно. Я б зробив ставку, що там є інструменти, які вже роблять це, але писати їх легко.

Я кажу, що легко, не складно і т. Д. Кілька разів. Я припускаю, що у вас є якісь основні програми програмування чи хороші сценарії.

Я зірвав і адаптував концептуально простий сценарій у Bash, який я знайшов в іншому повідомленні про помилку сервера від Tobia . Це повинно отримати вам близько 90% шляху туди.

mysql_locked=/var/run/mysql_locked

# flush & lock MySQL, touch mysql_locked, and wait until it is removed
mysql -hhost -uuser -ppassword -NB <<-EOF &
    flush tables with read lock;
    delimiter ;;
    system touch $mysql_locked
    system while test -e $mysql_locked; do sleep 1; done
    exit
EOF

# wait for the preceding command to touch mysql_locked
while ! test -e $mysql_locked; do sleep 1; done

# take a snapshot of the filesystem, while MySQL is being held locked
zfs snapshot zpool/$dataset@$(date +"%Y-%m-%d_%H:%M")

# unlock MySQL
rm -f $mysql_locked

Тут mysqlкоманда, яку ви використовуєте, виконується у фоновому режимі і торкається файлу. Він чекає у фоновому режимі, коли файл зникне перед виходом і тим самим розблокує таблиці. Тим часом основний скрипт чекає, поки файл існує, потім створює знімок і видаляє файл.

Файл, на який вказують, $mysql_lockedповинен бути доступний обом машинам, що ви повинні зробити досить легко, оскільки вони можуть отримати доступ до загального набору даних (хоча вони можуть використовувати різні шляхи, і ви повинні це врахувати).

Вам потрібні СТІЛКИ ТАБЛИЦІ З ПРОЧИТАНОЮ БЛОКУ для myisam, оскільки це не журнал.

Вам взагалі нічого не потрібно для innodb, IMO, тому що це журнал. Все одно це буде узгоджено, просто відкатуйте журнал автоматично, якщо щось відбувається в момент атомного моменту, який ви зробите.

Якщо ви хочете узгодженість рівня програми, ваша програма повинна використовувати транзакції. Якщо ваша програма використовує транзакції та innodb, будь-який знімок буде послідовно запитувати автоматичний шлях до рівня програми.

Це моє рішення, як створити знімок ZFS, зберігаючи замок:

mysql << EOF
    FLUSH TABLES WITH READ LOCK;
    system zfs snapshot data/db@snapname
    UNLOCK TABLES;
EOF