Постгреси: ВСТАВИТИ, якщо вона ще не існує

Я використовую Python для запису до бази даних postgres:

sql_string = "INSERT INTO hundred (name,name_slug,status) VALUES ("
sql_string += hundred + ", '" + hundred_slug + "', " + status + ");"
cursor.execute(sql_string)

Але оскільки деякі мої ряди однакові, я отримую таку помилку:

psycopg2.IntegrityError: duplicate key value  
  violates unique constraint "hundred_pkey"

Як я можу написати "INSERT, якщо цей рядок вже не існує" SQL-оператор?

Я бачив такі складні твердження, як рекомендується:

IF EXISTS (SELECT * FROM invoices WHERE invoiceid = '12345')
UPDATE invoices SET billed = 'TRUE' WHERE invoiceid = '12345'
ELSE
INSERT INTO invoices (invoiceid, billed) VALUES ('12345', 'TRUE')
END IF

Але, по-перше, чи є це надмір для того, що мені потрібно, по-друге, як я можу виконати один із них як простий рядок?

Postgres 9.5 (випускається з 2016-01-07) пропонує команду INSERT команду "upsert" , також відому як пункт ON CONFLICT :

INSERT ... ON CONFLICT DO NOTHING/UPDATE

Він вирішує багато тонких проблем, з якими можна зіткнутися при використанні одночасних операцій, на які пропонуються деякі інші відповіді.

Як я можу написати "INSERT, якщо цей рядок вже не існує" SQL-оператор?

Існує хороший спосіб зробити умовний INSERT в PostgreSQL:

INSERT INTO example_table
    (id, name)
SELECT 1, 'John'
WHERE
    NOT EXISTS (
        SELECT id FROM example_table WHERE id = 1
    );

CAVEAT Цей підхід не є на 100% надійним для одночасних операцій запису. Існує дуже крихітне стан гонки між SELECTв NOT EXISTSборотьбі з напівз'єднання і INSERTсамі. Він може провалитися за таких умов.

Одним із підходів було б створити необмежену таблицю (без унікальних індексів), щоб вставити всі ваші дані і зробити вибране відмінне від того, щоб зробити свою вставку у вашу сто таблицю.

Так високий рівень був би. Я припускаю, що в моєму прикладі всі три стовпчики відрізняються, тому для зміни розміру step3 НЕ ВИХОДИ приєднуйтесь лише до унікальних стовпців таблиці сто.

1. Створіть тимчасову таблицю. Дивіться документи тут .

   CREATE TEMPORARY TABLE temp_data(name, name_slug, status);

2. ВСТАВИТИ Дані в темп. Таблицю.

   INSERT INTO temp_data(name, name_slug, status); 

3. Додайте будь-які індекси до темп-таблиці.

4. Робіть основну вставку таблиці.

   INSERT INTO hundred(name, name_slug, status) 
       SELECT DISTINCT name, name_slug, status
       FROM hundred
       WHERE NOT EXISTS (
           SELECT 'X' 
           FROM temp_data
           WHERE 
               temp_data.name          = hundred.name
               AND temp_data.name_slug = hundred.name_slug
               AND temp_data.status    = status
       );

На жаль, PostgreSQLне підтримує ні MERGEні ON DUPLICATE KEY UPDATE, тому вам доведеться зробити це у двох твердженнях:

UPDATE  invoices
SET     billed = 'TRUE'
WHERE   invoices = '12345'

INSERT
INTO    invoices (invoiceid, billed)
SELECT  '12345', 'TRUE'
WHERE   '12345' NOT IN
        (
        SELECT  invoiceid
        FROM    invoices
        )

Ви можете перетворити його на функцію:

CREATE OR REPLACE FUNCTION fn_upd_invoices(id VARCHAR(32), billed VARCHAR(32))
RETURNS VOID
AS
$$
        UPDATE  invoices
        SET     billed = $2
        WHERE   invoices = $1;

        INSERT
        INTO    invoices (invoiceid, billed)
        SELECT  $1, $2
        WHERE   $1 NOT IN
                (
                SELECT  invoiceid
                FROM    invoices
                );
$$
LANGUAGE 'sql';

і просто зателефонуйте:

SELECT  fn_upd_invoices('12345', 'TRUE')

Ви можете скористатися значеннями - доступними в Postgres:

INSERT INTO person (name)
    SELECT name FROM person
    UNION 
    VALUES ('Bob')
    EXCEPT
    SELECT name FROM person;

Я знаю, що це питання з давнього часу, але думав, що це може комусь допомогти. Я думаю, що найпростіший спосіб зробити це через тригер. Наприклад:

Create Function ignore_dups() Returns Trigger
As $$
Begin
    If Exists (
        Select
            *
        From
            hundred h
        Where
            -- Assuming all three fields are primary key
            h.name = NEW.name
            And h.hundred_slug = NEW.hundred_slug
            And h.status = NEW.status
    ) Then
        Return NULL;
    End If;
    Return NEW;
End;
$$ Language plpgsql;

Create Trigger ignore_dups
    Before Insert On hundred
    For Each Row
    Execute Procedure ignore_dups();

Виконайте цей код із запиту psql (або ви хочете виконувати запити безпосередньо в базі даних). Потім ви можете вставити як Python як звичайне. Наприклад:

sql = "Insert Into hundreds (name, name_slug, status) Values (%s, %s, %s)"
cursor.execute(sql, (hundred, hundred_slug, status))

Зауважте, що як уже згадувалося @Thomas_Wouters, наведений вище код використовує переваги параметрів, а не об'єднання рядка.

Існує хороший спосіб зробити умовний INSERT в PostgreSQL, використовуючи ЗО запиту: Like:

WITH a as(
select 
 id 
from 
 schema.table_name 
where 
 column_name = your_identical_column_value
)
INSERT into 
 schema.table_name
(col_name1, col_name2)
SELECT
    (col_name1, col_name2)
WHERE NOT EXISTS (
     SELECT
         id
     FROM
         a
        )
  RETURNING id 

Це саме проблема, з якою я стикаюся, і моя версія 9.5

І я вирішую це за допомогою SQL-запиту нижче.

INSERT INTO example_table (id, name)
SELECT 1 AS id, 'John' AS name FROM example_table
WHERE NOT EXISTS(
            SELECT id FROM example_table WHERE id = 1
    )
LIMIT 1;

Сподіваємось, що це допоможе тому, у кого є те саме питання з версією> = 9.5

Дякуємо за прочитане

ВСТАВИТИ .. ЧОГО НЕ існує - хороший підхід. А перегонових умов можна уникнути транзакцією "конверт":

BEGIN;
LOCK TABLE hundred IN SHARE ROW EXCLUSIVE MODE;
INSERT ... ;
COMMIT;

З правилами це легко:

CREATE RULE file_insert_defer AS ON INSERT TO file
WHERE (EXISTS ( SELECT * FROM file WHERE file.id = new.id)) DO INSTEAD NOTHING

Але це не вдається з одночасним записом ...

Підхід із найбільшою кількістю результатів (від Джона Доу) якось працює для мене, але в моєму випадку із очікуваних 422 рядків я отримую лише 180. Я нічого не міг знайти, і помилок немає взагалі, тому я шукав інше простий підхід.

Використання IF NOT FOUND THENпісля aSELECT просто працює для мене ідеально.

(описано в документації PostgreSQL )

Приклад з документації:

SELECT * INTO myrec FROM emp WHERE empname = myname;
IF NOT FOUND THEN
  RAISE EXCEPTION 'employee % not found', myname;
END IF;

Клас курсору psycopgs має атрибут кількість рядків .

Цей атрибут лише для читання визначає кількість рядків, які останній виконаний * () видав (для операторів DQL на зразок SELECT) або вплинув (для операторів DML, таких як UPDATE або INSERT).

Таким чином, ви можете спробувати ОНОВИТИ спочатку та ВСТАВИТИ, лише якщо кількість рядків дорівнює 0.

Але залежно від рівня активності у вашій базі даних, ви можете потрапити на стан перегонів між UPDATE та INSERT, коли інший процес може створити цей запис у проміжку часу.

Здається, що ваш стовпець "сотня" визначається як первинний ключ, і тому він повинен бути унікальним, а це не так. Проблема не в тому, що у ваших даних.

Я пропоную вам вставити ідентифікатор як серійний тип, щоб обробляти первинний ключ

Якщо ви скажете, що багато ваших рядків однакові, ви закінчите перевірку багато разів. Ви можете надіслати їх, і база даних визначить, вставити чи ні, за допомогою пункту ON CONFLICT наступним чином

  INSERT INTO Hundred (name,name_slug,status) VALUES ("sql_string += hundred  
  +",'" + hundred_slug + "', " + status + ") ON CONFLICT ON CONSTRAINT
  hundred_pkey DO NOTHING;" cursor.execute(sql_string);

Я шукав подібне рішення, намагаючись знайти SQL, який працює в PostgreSQL, а також HSQLDB. (HSQLDB зробив це важким.) Використовуючи ваш приклад як основу, це формат, який я знайшов в інших місцях.

sql = "INSERT INTO hundred (name,name_slug,status)"
sql += " ( SELECT " + hundred + ", '" + hundred_slug + "', " + status
sql += " FROM hundred"
sql += " WHERE name = " + hundred + " AND name_slug = '" + hundred_slug + "' AND status = " + status
sql += " HAVING COUNT(*) = 0 );"

Ось загальна функція python, яка надає ім’я таблиці, стовпці та значення, генерує еквівалент upsert для postgresql.

імпортувати json

def upsert(table_name, id_column, other_columns, values_hash):

    template = """
    WITH new_values ($$ALL_COLUMNS$$) as (
      values
         ($$VALUES_LIST$$)
    ),
    upsert as
    (
        update $$TABLE_NAME$$ m
            set
                $$SET_MAPPINGS$$
        FROM new_values nv
        WHERE m.$$ID_COLUMN$$ = nv.$$ID_COLUMN$$
        RETURNING m.*
    )
    INSERT INTO $$TABLE_NAME$$ ($$ALL_COLUMNS$$)
    SELECT $$ALL_COLUMNS$$
    FROM new_values
    WHERE NOT EXISTS (SELECT 1
                      FROM upsert up
                      WHERE up.$$ID_COLUMN$$ = new_values.$$ID_COLUMN$$)
    """

    all_columns = [id_column] + other_columns
    all_columns_csv = ",".join(all_columns)
    all_values_csv = ','.join([query_value(values_hash[column_name]) for column_name in all_columns])
    set_mappings = ",".join([ c+ " = nv." +c for c in other_columns])

    q = template
    q = q.replace("$$TABLE_NAME$$", table_name)
    q = q.replace("$$ID_COLUMN$$", id_column)
    q = q.replace("$$ALL_COLUMNS$$", all_columns_csv)
    q = q.replace("$$VALUES_LIST$$", all_values_csv)
    q = q.replace("$$SET_MAPPINGS$$", set_mappings)

    return q


def query_value(value):
    if value is None:
        return "NULL"
    if type(value) in [str, unicode]:
        return "'%s'" % value.replace("'", "''")
    if type(value) == dict:
        return "'%s'" % json.dumps(value).replace("'", "''")
    if type(value) == bool:
        return "%s" % value
    if type(value) == int:
        return "%s" % value
    return value


if __name__ == "__main__":

    my_table_name = 'mytable'
    my_id_column = 'id'
    my_other_columns = ['field1', 'field2']
    my_values_hash = {
        'id': 123,
        'field1': "john",
        'field2': "doe"
    }
    print upsert(my_table_name, my_id_column, my_other_columns, my_values_hash)

Рішення просте, але не негайно.
Якщо ви хочете скористатися цією інструкцією, ви повинні внести одну зміну в db:

ALTER USER user SET search_path to 'name_of_schema';

після цих змін "INSERT" запрацює правильно.