Резервне копіювання / відновлення докерізованої бази даних PostgreSQL

Я намагаюся створити резервну копію / відновити базу даних PostgreSQL, як це пояснено на веб-сайті Docker, але дані не відновлюються.

Обсяги, використовувані зображеннями бази даних:

VOLUME  ["/etc/postgresql", "/var/log/postgresql", "/var/lib/postgresql"]

а CMD є:

CMD ["/usr/lib/postgresql/9.3/bin/postgres", "-D", "/var/lib/postgresql/9.3/main", "-c", "config_file=/etc/postgresql/9.3/main/postgresql.conf"]

Я створюю контейнер БД за допомогою цієї команди:

docker run -it --name "$DB_CONTAINER_NAME" -d "$DB_IMAGE_NAME"

Потім я підключаю інший контейнер, щоб вставити деякі дані вручну:

docker run -it --rm --link "$DB_CONTAINER_NAME":db "$DB_IMAGE_NAME" sh -c 'exec bash'
psql -d test -h $DB_PORT_5432_TCP_ADDR
# insert some data in the db
<CTRL-D>
<CTRL-D>

Потім створюється архів дьогтю:

$ sudo docker run --volumes-from "$DB_CONTAINER_NAME" --rm -v $(pwd):/backup ubuntu tar cvf /backup/backup.tar /etc/postgresql /var/log/postgresql /var/lib/postgresql

Тепер я виймаю контейнер, який використовується для db, і створюю ще один, з тим самим ім'ям, і намагаюся відновити введені раніше дані:

$ sudo docker run --volumes-from "$DB_CONTAINER_NAME" --rm -v $(pwd):/backup ubuntu tar xvf /backup/backup.tar 

Але таблиці порожні, чому дані не відновлені належним чином?

Резервне копіювання ваших баз даних

docker exec -t your-db-container pg_dumpall -c -U postgres > dump_`date +%d-%m-%Y"_"%H_%M_%S`.sql

Відновіть ваші бази даних

cat your_dump.sql | docker exec -i your-db-container psql -U postgres

Я думаю, ви також можете використовувати контейнер резервного копіювання potgres, який би резервував ваші бази даних протягом певного часу.

  pgbackups:
    container_name: Backup
    image: prodrigestivill/postgres-backup-local
    restart: always
    volumes:
      - ./backup:/backups
    links:
      - db:db
    depends_on:
      - db
    environment:
      - POSTGRES_HOST=db
      - POSTGRES_DB=${DB_NAME} 
      - POSTGRES_USER=${DB_USER}
      - POSTGRES_PASSWORD=${DB_PASSWORD}
      - POSTGRES_EXTRA_OPTS=-Z9 --schema=public --blobs
      - SCHEDULE=@every 0h30m00s
      - BACKUP_KEEP_DAYS=7
      - BACKUP_KEEP_WEEKS=4
      - BACKUP_KEEP_MONTHS=6
      - HEALTHCHECK_PORT=81

Гаразд, я це зрозумів. Postgresql не виявляє змін у папці / var / lib / postgresql після її запуску, принаймні, не таких змін, які я б хотів виявити.

Перше рішення - запустити контейнер з bash замість того, щоб безпосередньо запускати сервер postgres, відновити дані, а потім запустити сервер вручну.

Друге рішення - використовувати контейнер даних. Раніше я цього не розумів, зараз я. Цей контейнер даних дозволяє відновити дані перед запуском контейнера postgres. Таким чином, коли сервер postgres запускається, дані вже є.

Інший підхід (заснований на docker-postgresql-workflow )

Локальна база даних (не в докері, але такий же підхід буде працювати) для експорту:

pg_dump -F c -h localhost mydb -U postgres export.dmp

База даних контейнерів для імпорту:

docker run -d -v /local/path/to/postgres:/var/lib/postgresql/data postgres #ex runs container as `CONTAINERNAME` #find via `docker ps`
docker run -it --link CONTAINERNAME:postgres  --volume $PWD/:/tmp/  postgres  bash -c 'exec pg_restore -h postgres -U postgres -d mydb -F c /tmp/sonar.dmp'

У мене виникла ця проблема під час спроби використовувати db_dump для відновлення db. Я зазвичай використовую dbeaver для відновлення, однак отримав дамп psql, тому довелося з'ясувати метод відновлення за допомогою контейнера docker.

Методологія, рекомендована Forth та редагована Радянською мовою, працювала для мене:

cat your_dump.sql | docker exec -i your-db-container psql -U postgres -d dbname

(оскільки це був один db дамп, а не кілька db, я включив ім'я)

Однак, щоб змусити це працювати, мені довелося також зайти в virtualenv, що контейнер і проект докера були. Це трохи ухилилося від мене, перш ніж з'ясувати це, оскільки я отримував наступну помилку докера.

read unix @->/var/run/docker.sock: read: connection reset by peer

Це може бути викликано файлом /var/lib/docker/network/files/local-kv.db. Я не знаю точності цього твердження: але я вважаю, що я бачив це, оскільки я не користуюсь докер-користувачем локально, тому не мав цього файлу, який він шукав, використовуючи відповідь Форта.

Потім я перейшов до виправлення каталогу (з проектом), активував virtualenv, а потім запустив прийняту відповідь. Бум, працював як топ. Сподіваюсь, це допомагає комусь іншому там!

Це команда, яка працювала для мене.

cat your_dump.sql | sudo docker exec -i {docker-postgres-container} psql -U {user} -d {database_name}

наприклад

cat table_backup.sql | docker exec -i 03b366004090 psql -U postgres -d postgres

Довідка : Рішення, дане GMartinez-Sisti в цій дискусії. https://gist.github.com/gilyes/525cc0f471aafae18c3857c27519fc4b

cat db.dump | docker exec ...спосіб не працював для мого дампа (~ 2 Гбіт). Минуло кілька годин і закінчилося помилкою поза пам'яттю.

Натомість я cp'ed скидаю в контейнер і pg_restore'ed його зсередини.

Якщо припустимо, що ідентифікатор контейнера CONTAINER_IDі ім'я db DB_NAME:

# copy dump into container
docker cp local/path/to/db.dump CONTAINER_ID:/db.dump

# shell into container
docker exec -it CONTAINER_ID bash

# restore it from within
pg_restore -U postgres -d DB_NAME --no-owner -1 /db.dump

dksnap( https://github.com/kelda/dksnap ) автоматизує процес запуску pg_dumpallта завантаження дампа через /docker-entrypoint-initdb.d.

Він показує вам список запущених контейнерів, і ви вибираєте, який з них потрібно створити для резервного копіювання. Отриманий артефакт - це звичайне зображення Докера, тож ви зможете docker runйого опублікувати або поділитися ним, натиснувши його до реєстру Докера.

(відмова від відповідальності: Я підтримую проект)

Наведена нижче команда може бути використана для вивантаження дампа з контейнера догресу докерів

docker exec -t <postgres-container-name> pg_dump --no-owner -U <db-username> <db-name> > file-name-to-backup-to.sql