Postgres: очистити всю базу даних перед повторним створенням / повторним заселенням з bash script


139

Я пишу сценарій оболонки (перетворяться на роботу):

1: скинути мою виробничу базу даних

2: імпортувати дамп у мою базу даних розробок

Між кроком 1 і 2 мені потрібно очистити базу даних розробок (скинути всі таблиці?). Як це найкраще досягти за допомогою сценарію оболонки? Поки що це виглядає приблизно так:

#!/bin/bash
time=`date '+%Y'-'%m'-'%d'`
# 1. export(dump) the current production database
pg_dump -U production_db_name > /backup/dir/backup-${time}.sql

# missing step: drop all tables from development database so it can be re-populated

# 2. load the backup into the development database
psql -U development_db_name < backup/dir/backup-${time}.sql

3
oneliner для людей, які поспішають:dbname='db_name' && dropdb $dbname && createdb $dbname && psql -d $dbname -f dump.sql
ruuter

цей oneliner вимагає від вас дозволу на створення / випадання бази даних. підхід, який намагається автор, не вимагає спеціальних привілеїв.
рибамар

Відповіді:


188

Я б просто скинути базу даних, а потім створити її знову. У системі UNIX або Linux це потрібно зробити:

$ dropdb development_db_name
$ createdb developmnent_db_name

Ось як я це роблю, власне.


Це я і роблю. Потім просто відновіть у новостворений db.
Артур Томас

3
так. це краще, тому що можуть бути об’єкти, які не входять до дампа, який ви відновлюєте. в цьому випадку вони точно будуть вбиті.
пстантон

7
одна хитрість, яка заощаджує мені час, - $ sudo -u postgres dropdb DATABASE_NAME
Елвін

36
Але ... як щодо дозволів та прав власності на базу даних?
Емануеле Паоліні

6
@EmanuelePaolini createdb --owner=db_owner [--template=template0 --encoding=UTF8] db_nameя додаю останні два за замовчуванням до всіх баз даних
mcalex

91

Якщо вам насправді не потрібна резервна копія бази даних, скинутої на диск у простому текстовому форматі файлу сценарію .sql, ви можете підключитися pg_dumpта pg_restoreбезпосередньо разом через трубу.

Щоб скинути та відтворити таблиці, ви можете використовувати параметр --cleanкомандного рядка для pg_dumpвидачі команд SQL для очищення (випадання) об'єктів бази даних до їх створення (команди для). (Це не знизить всю базу даних, лише кожну таблицю / послідовність / індекс / тощо. Перед їх відтворенням.)

Зазначені вище виглядали б приблизно так:

pg_dump -U username --clean | pg_restore -U username

1
Мені подобається це рішення, оскільки я хочу створити резервну копію, я зараз це роблю: pg_dump -Ft -U production_db_name> /backup/dir/backup-${timekvi.tar pg_restore -U development_db_name -d development_db_name -O - -clean /backup/dir/backup-${time}.tar працює як шарм, дякую за допомогу!
Хофф

38
Остерігайтеся: опція --clean видаляє лише ті відносини, які знайдені у файлі відновлення. Це означає, що якщо ви додасте таблицю для тестування, то хочете її видалити (наприклад, синхронізувати з виробничою БД), вона не буде видалена.
ianaré

6
Важливо мати на увазі, що опція --clean pg_dump працює лише з простою резервною копією тексту. Оскільки документація чітко зазначає тут postgresql.org/docs/9.4/static/app-pgdump.html , вам потрібно використовувати --clean в pg_restore для архівованих резервних копій.
Кікін-Сама

6
Чи є спосіб включити каскад у варіант "--clean". Оскільки саме цей варіант виглядає марним. Я отримую "ПОМИЛКА: не можу скинути схему загальнодоступної, оскільки інші об'єкти залежать від неї", як 100% часу її використання.
user4674453

Питання про видалення всіх таблиць. Це видаляє лише таблиці, знайдені в базі даних, з яких вивантажується файл pg_dump.
jbg

13

Хоча наступний рядок взято з пакетного сценарію Windows, команда повинна бути зовсім подібною:

psql -U username -h localhost -d postgres -c "DROP DATABASE \"$DATABASE\";"

Ця команда використовується для очищення всієї бази даних, фактично скинувши її. Команда $DATABASE(у Windows має бути %DATABASE%) - це змінна середовище стилю Windows, що оцінює ім'я бази даних. Вам потрібно буде замінити це своїм development_db_name.


4
то чому б не використати вже доступні dropdbта createdbкоманди? Якщо ви можете запустити psql, ви можете запустити і їх.
Майк 'Помакс' Камерманс

10

Скинути:

pg_dump -Fc mydb > db.dump

Відновити:

pg_restore --verbose --clean --no-acl --no-owner -h localhost -U myuser -d my_db db/latest.dump

7

Якщо ви хочете очистити свою базу даних з назвою "example_db":

1) Увійдіть в інший db (наприклад, 'postgres'):

psql postgres

2) Видаліть базу даних:

DROP DATABASE example_db;

3) Відтворіть свою базу даних:

CREATE DATABASE example_db;


4

Примітка: моя відповідь стосується дійсного видалення таблиць та інших об'єктів бази даних; для видалення всіх даних у таблицях, тобто обрізання всіх таблиць , Endre обидві надали аналогічно добре виконане (пряме виконання) заява через місяць.

Для тих випадків , коли ви можете не тільки DROP SCHEMA public CASCADE;, DROP OWNED BY current_user;або що - то, ось автономний SQL скрипт я написав, що угода безпечним (тобто ви можете помістити його між BEGIN;і чи ROLLBACK;до просто перевірити це або COMMIT;насправді робити справу) і очищає "всі" об'єкти бази даних ... ну всі ті, що використовуються в базі даних, яку використовує наше додаток, або я міг би додати, а саме:

  • тригери на столах
  • Обмеження на столах (ФК, ПК, CHECK, UNIQUE)
  • indēs
  • VIEWs (нормальна або матеріалізована)
  • столи
  • послідовності
  • підпрограми (сукупність функцій, функцій, процедур)
  • всі схеми n -n за замовчуванням (тобто не publicабо внутрішні БД) схеми "ми" володіємо: сценарій корисний, коли він працює як "не суперпользователь базы данных"; суперрусер може скинути всі схеми (хоча справді важливі з них явно виключені)
  • розширення (внесені користувачем, але я зазвичай навмисно залишаю їх у)

Не випадають (деякі навмисно; деякі лише тому, що я не мав прикладу в нашій БД):

  • publicсхеми (наприклад , для розширення наданого матеріалу в них)
  • порівняння та інші речі місцевості
  • тригери подій
  • пошук тексту,… (дивіться тут інші речі, які я, можливо, пропустив)
  • ролі чи інші налаштування безпеки
  • композиційні типи
  • тост-столи
  • FDW та зарубіжні столи

Це дійсно корисно у випадках, коли дамп, який ви хочете відновити, має іншу версію схеми бази даних (наприклад, для Debian dbconfig-common, Flyway або Liquibase / DB-Manul), ніж база даних, в яку ви хочете відновити її.

У мене також є версія, яка видаляє "все, крім двох таблиць, і що належить їм" (послідовність, перевірена вручну, вибачте, я знаю, нудна), якщо хтось зацікавлений; різниця невелика. Зверніться до мене або перевірте це репо, якщо цікавитесь.

SQL

-- Copyright © 2019, 2020
--      mirabilos <t.glaser@tarent.de>
--
-- Provided that these terms and disclaimer and all copyright notices
-- are retained or reproduced in an accompanying document, permission
-- is granted to deal in this work without restriction, including un‐
-- limited rights to use, publicly perform, distribute, sell, modify,
-- merge, give away, or sublicence.
--
-- This work is provided “AS IS” and WITHOUT WARRANTY of any kind, to
-- the utmost extent permitted by applicable law, neither express nor
-- implied; without malicious intent or gross negligence. In no event
-- may a licensor, author or contributor be held liable for indirect,
-- direct, other damage, loss, or other issues arising in any way out
-- of dealing in the work, even if advised of the possibility of such
-- damage or existence of a defect, except proven that it results out
-- of said person’s immediate fault when using the work as intended.
-- -
-- Drop everything from the PostgreSQL database.

DO $$
DECLARE
        q TEXT;
        r RECORD;
BEGIN
        -- triggers
        FOR r IN (SELECT pns.nspname, pc.relname, pt.tgname
                FROM pg_catalog.pg_trigger pt, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pt.tgrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pt.tgisinternal=false
            ) LOOP
                EXECUTE format('DROP TRIGGER %I ON %I.%I;',
                    r.tgname, r.nspname, r.relname);
        END LOOP;
        -- constraints #1: foreign key
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype='f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- constraints #2: the rest
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype<>'f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- indicēs
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='i'
            ) LOOP
                EXECUTE format('DROP INDEX %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- normal and materialised views
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind IN ('v', 'm')
            ) LOOP
                EXECUTE format('DROP VIEW %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- tables
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='r'
            ) LOOP
                EXECUTE format('DROP TABLE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- sequences
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='S'
            ) LOOP
                EXECUTE format('DROP SEQUENCE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- extensions (only if necessary; keep them normally)
        FOR r IN (SELECT pns.nspname, pe.extname
                FROM pg_catalog.pg_extension pe, pg_catalog.pg_namespace pns
                WHERE pns.oid=pe.extnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
            ) LOOP
                EXECUTE format('DROP EXTENSION %I;', r.extname);
        END LOOP;
        -- aggregate functions first (because they depend on other functions)
        FOR r IN (SELECT pns.nspname, pp.proname, pp.oid
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns, pg_catalog.pg_aggregate pagg
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pagg.aggfnoid=pp.oid
            ) LOOP
                EXECUTE format('DROP AGGREGATE %I.%I(%s);',
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- routines (functions, aggregate functions, procedures, window functions)
        IF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='prokind' -- PostgreSQL 11+
            ) THEN
                q := 'CASE pp.prokind
                        WHEN ''p'' THEN ''PROCEDURE''
                        WHEN ''a'' THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSIF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='proisagg' -- PostgreSQL ≤10
            ) THEN
                q := 'CASE pp.proisagg
                        WHEN true THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSE
                q := '''FUNCTION''';
        END IF;
        FOR r IN EXECUTE 'SELECT pns.nspname, pp.proname, pp.oid, ' || q || ' AS pt
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN (''information_schema'', ''pg_catalog'', ''pg_toast'')
            ' LOOP
                EXECUTE format('DROP %s %I.%I(%s);', r.pt,
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- nōn-default schemata we own; assume to be run by a not-superuser
        FOR r IN (SELECT pns.nspname
                FROM pg_catalog.pg_namespace pns, pg_catalog.pg_roles pr
                WHERE pr.oid=pns.nspowner
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast', 'public')
                    AND pr.rolname=current_user
            ) LOOP
                EXECUTE format('DROP SCHEMA %I;', r.nspname);
        END LOOP;
        -- voilà
        RAISE NOTICE 'Database cleared!';
END; $$;

Тестовано, окрім пізніших доповнень ( extensionsвнесених Clément Prévost ), на PostgreSQL 9.6 ( jessie-backports). Видалення сукупності тестовано на 9.6 та 12.2, видалення процедури також перевірено на 12.2. Виправлення помилок та подальші вдосконалення вітаються!

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.