SQLite - UPSERT * не * ВСТАВКА або ЗАМІНА

http://en.wikipedia.org/wiki/Upsert

Вставте оновлення, що зберігається, на SQL Server

Чи є якийсь розумний спосіб зробити це в SQLite, про який я не думав?

В основному я хочу оновити три з чотирьох стовпців, якщо запис існує, якщо його немає, я хочу ВСТАВИТИ запис із значенням за замовчуванням (NUL) для четвертого стовпця.

Ідентифікатор є первинним ключем, тому до UPSERT буде лише один запис.

(Я намагаюся уникати накладних витрат SELECT, щоб визначити, чи потрібно мені ОНОВНІСТЬ або ВСТАВИТИ)

Пропозиції?

Я не можу підтвердити, що синтаксис на SQLite-сайті для TABLE CREATE. Я не створив демонстраційну версію для тестування, але вона, здається, не підтримується.

Якби це було, у мене є три стовпці, щоб це насправді виглядало так:

CREATE TABLE table1( 
    id INTEGER PRIMARY KEY ON CONFLICT REPLACE, 
    Blob1 BLOB ON CONFLICT REPLACE, 
    Blob2 BLOB ON CONFLICT REPLACE, 
    Blob3 BLOB 
);

але перші два краплі не викличуть конфлікту, лише ідентифікатор, так що я вважаю, що Blob1 і Blob2 не будуть замінені (за бажанням)

ОНОВЛЕННЯ в SQLite, коли дані прив'язки є повною транзакцією, тобто кожен відправлений рядок для оновлення вимагає: Підготувати / Зв’язати / Крок / Завершити операції на відміну від INSERT, що дозволяє використовувати функцію скидання

Життя об’єкта висловлювання виглядає приблизно так:

1. Створіть об’єкт за допомогою sqlite3_prepare_v2 ()
2. Прив’яжіть значення до параметрів хоста за допомогою інтерфейсів sqlite3_bind_.
3. Запустіть SQL, зателефонувавши sqlite3_step ()
4. Скиньте оператор за допомогою sqlite3_reset (), потім поверніться до кроку 2 та повторіть.
5. Знищіть об'єкт оператора за допомогою sqlite3_finalize ().

ОНОВЛЕННЯ Я здогадуюсь повільний порівняно з INSERT, але як він порівняється з SELECT за допомогою первинного ключа?

Можливо, я повинен використати select, щоб прочитати 4-й стовпчик (Blob3), а потім використовувати ЗАМЕНИТИ, щоб написати новий запис, змішуючи оригінальний 4-й стовпець з новими даними для перших 3 стовпців?

Припустимо, що у таблиці три стовпці: ідентифікатор, ім’я, роль

BAD: Це додасть або замінить усі стовпці новими значеннями для ID = 1:

INSERT OR REPLACE INTO Employee (id, name, role) 
  VALUES (1, 'John Foo', 'CEO');

BAD: Це буде вставляти або замінювати 2 стовпці ... стовпець NAME буде встановлений на NULL або значення за замовчуванням:

INSERT OR REPLACE INTO Employee (id, role) 
  VALUES (1, 'code monkey');

ДОБРО : Використовуйте SQLite On конфліктне ставлення Підтримка UPSERT в SQLite! Синтаксис UPSERT додано до SQLite з версією 3.24.0!

UPSERT - це спеціальне синтаксичне доповнення до INSERT, яке змушує INSERT поводитись як ОНОВЛЕННЯ або непридатність, якщо INSERT порушує обмеження унікальності. UPSERT не є стандартним SQL. UPSERT в SQLite дотримується синтаксису, встановленого PostgreSQL.

ДОБРИЙ, але тенденційний: це оновить 2 стовпці. Якщо ідентифікатор = 1 існує, ім’я NAME не вплине. Якщо ID = 1 не існує, ім'я буде за замовчуванням (NULL).

INSERT OR REPLACE INTO Employee (id, role, name) 
  VALUES (  1, 
            'code monkey',
            (SELECT name FROM Employee WHERE id = 1)
          );

Це оновить 2 стовпці. Якщо ID = 1 існує, РОЛЬ не вплине. Коли ID = 1 не існує, замість значення за замовчуванням роль буде встановлена ​​на "Benchwarmer".

INSERT OR REPLACE INTO Employee (id, name, role) 
  VALUES (  1, 
            'Susan Bar',
            COALESCE((SELECT role FROM Employee WHERE id = 1), 'Benchwarmer')
          );

INSERT OR REPLACE є НЕ еквівалентно "UPSERT".

Скажіть, у мене є таблиця Співробітник з полями id, ім'я та роль:

INSERT OR REPLACE INTO Employee ("id", "name", "role") VALUES (1, "John Foo", "CEO")
INSERT OR REPLACE INTO Employee ("id", "role") VALUES (1, "code monkey")

Бум, ви втратили ім'я працівника № 1. SQLite замінив його значенням за замовчуванням.

Очікуваним результатом UPSERT буде зміна ролі та збереження назви.

Відповідь Еріка В гаразд, якщо ви хочете зберегти лише один або, можливо, два стовпці з існуючого рядка. Якщо ви хочете зберегти багато стовпців, це стає занадто громіздким.

Ось підхід, який зможе масштабувати будь-яку кількість стовпців з обох сторін. Щоб проілюструвати це, я прийму наступну схему:

 CREATE TABLE page (
     id      INTEGER PRIMARY KEY,
     name    TEXT UNIQUE,
     title   TEXT,
     content TEXT,
     author  INTEGER NOT NULL REFERENCES user (id),
     ts      TIMESTAMP DEFAULT CURRENT_TIMESTAMP
 );

Зокрема, зауважте, що nameце природний ключ рядка - idвін використовується лише для зовнішніх ключів, тому SQLite полягає в тому, щоб під час вставлення нового рядка SQLite сам вибирав значення ідентифікатора. Але оновлюючи існуючий рядок на основі його name, я хочу, щоб він і надалі мав старе значення ідентифікатора (очевидно!).

Я досягаю правди UPSERTза допомогою наступної конструкції:

 WITH new (name, title, author) AS ( VALUES('about', 'About this site', 42) )
 INSERT OR REPLACE INTO page (id, name, title, content, author)
 SELECT old.id, new.name, new.title, old.content, new.author
 FROM new LEFT JOIN page AS old ON new.name = old.name;

Точна форма цього запиту може дещо відрізнятися. Ключовим моментом є використання INSERT SELECTлівого зовнішнього з'єднання для приєднання існуючого рядка до нових значень.

Тут, якщо рядок раніше не існував, old.idбуде NULLі SQLite потім призначить ідентифікатор автоматично, але якщо такий рядок уже був, old.idматиме фактичне значення і це буде повторно використане. А це саме те, що я хотів.

Насправді це дуже гнучко. Зауважте, як tsстовпець повністю відсутній з усіх боків - оскільки він має DEFAULTзначення, SQLite просто зробить правильну справу в будь-якому випадку, тому я не повинен сам про це піклуватися.

Ви можете також включити колонку на обох newі oldсторін , а потім використовувати , наприклад , COALESCE(new.content, old.content)в зовнішньому SELECTсказати «вставити новий зміст, чи не було, в іншому випадку зберегти старий зміст» , - наприклад , якщо ви використовуєте фіксований запит і є обов'язковими для нового значення із заповнювачами.

Якщо ви зазвичай робите оновлення, я б ..

1. Почніть операцію
2. Зробіть оновлення
3. Перевірте кількість рядків
4. Якщо це 0, зробіть вставку
5. Здійснити

Якщо ви, як правило, робите вставки, я б

1. Почніть операцію
2. Спробуйте вставити
3. Перевірте наявність помилки в первинному ключі
4. якщо ми отримали помилку, зробіть оновлення
5. Здійснити

Таким чином ви уникаєте вибору, і ви трансакційно звучать на Sqlite.

Цю відповідь було оновлено, тому коментарі нижче вже не застосовуються.

2018-05-18 ЗАСТОСУЙТЕ ПРЕСС.

Підтримка UPSERT в SQLite! Синтаксис UPSERT додано до SQLite з версією 3.24.0 (очікує на розгляд)!

UPSERT - це спеціальне синтаксичне доповнення до INSERT, яке змушує INSERT поводитись як ОНОВЛЕННЯ або непридатність, якщо INSERT порушує обмеження унікальності. UPSERT не є стандартним SQL. UPSERT в SQLite дотримується синтаксису, встановленого PostgreSQL.

альтернативно:

Ще один зовсім інший спосіб зробити це: У своїй програмі я встановив, що в пам’яті rowID пам’яті буде long.MaxValue, коли я створюю рядок у пам’яті. (MaxValue ніколи не буде використовуватися як ідентифікатор, ви не будете жити досить довго .... Тоді, якщо rowID не є таким значенням, то він повинен бути вже в базі даних, тому потрібне оновлення, якщо це MaxValue, тоді йому потрібна вставка. Це корисно лише в тому випадку, якщо ви можете відстежувати rowIDs у вашому додатку.

Я розумію, що це стара тема, але я працював у sqlite3 з пізнього часу і придумав цей метод, який краще відповідав моїм потребам динамічно генерувати параметризовані запити:

insert or ignore into <table>(<primaryKey>, <column1>, <column2>, ...) values(<primaryKeyValue>, <value1>, <value2>, ...); 
update <table> set <column1>=<value1>, <column2>=<value2>, ... where changes()=0 and <primaryKey>=<primaryKeyValue>; 

Це все ще 2 запити, де застереження про оновлення, але, здається, це робити. У мене також є таке бачення, що sqlite може повністю оптимізувати оператор оновлення, якщо виклик змін () більший за нуль. Незалежно від того, чи це насправді це, що не виходить, але людина може мріяти, чи не може він? ;)

Для бонусних очок ви можете додати цей рядок, який повертає вам ідентифікатор рядка, будь то нещодавно вставлений рядок або існуючий рядок.

select case changes() WHEN 0 THEN last_insert_rowid() else <primaryKeyValue> end;

Ось рішення, яке насправді являє собою UPSERT (UPDATE або INSERT) замість ВСТАВЛЕННЯ АБО ЗАМІНИ (що працює у різних ситуаціях по-різному).

Це працює так:
1. Спробуйте оновити, якщо існує запис із тим самим ідентифікатором.
2. Якщо оновлення не змінило жодних рядків ( NOT EXISTS(SELECT changes() AS change FROM Contact WHERE change <> 0)), тоді вставити запис.

Таким чином, або оновлений запис було оновлено, або буде виконана вставка.

Важливою деталлю є використання функції SQL змін (), щоб перевірити, чи потрапляє оператор оновлення в будь-які існуючі записи, і виконувати лише оператор вставлення, якщо він не потрапив до жодної записи.

Варто зазначити, що функція change () не повертає зміни, які виконуються тригерами нижчого рівня (див. Http://sqlite.org/lang_corefunc.html#changes ), тому обов'язково враховуйте це.

Ось SQL ...

Оновлення тесту:

--Create sample table and records (and drop the table if it already exists)
DROP TABLE IF EXISTS Contact;
CREATE TABLE [Contact] (
  [Id] INTEGER PRIMARY KEY, 
  [Name] TEXT
);
INSERT INTO Contact (Id, Name) VALUES (1, 'Mike');
INSERT INTO Contact (Id, Name) VALUES (2, 'John');

-- Try to update an existing record
UPDATE Contact
SET Name = 'Bob'
WHERE Id = 2;

-- If no record was changed by the update (meaning no record with the same Id existed), insert the record
INSERT INTO Contact (Id, Name)
SELECT 2, 'Bob'
WHERE NOT EXISTS(SELECT changes() AS change FROM Contact WHERE change <> 0);

--See the result
SELECT * FROM Contact;

Тестова вставка:

--Create sample table and records (and drop the table if it already exists)
DROP TABLE IF EXISTS Contact;
CREATE TABLE [Contact] (
  [Id] INTEGER PRIMARY KEY, 
  [Name] TEXT
);
INSERT INTO Contact (Id, Name) VALUES (1, 'Mike');
INSERT INTO Contact (Id, Name) VALUES (2, 'John');

-- Try to update an existing record
UPDATE Contact
SET Name = 'Bob'
WHERE Id = 3;

-- If no record was changed by the update (meaning no record with the same Id existed), insert the record
INSERT INTO Contact (Id, Name)
SELECT 3, 'Bob'
WHERE NOT EXISTS(SELECT changes() AS change FROM Contact WHERE change <> 0);

--See the result
SELECT * FROM Contact;

Починаючи з версії 3.24.0 UPSERT підтримується SQLite.

З документації :

UPSERT - це спеціальне синтаксичне доповнення до INSERT, яке змушує INSERT поводитись як ОНОВЛЕННЯ або непридатність, якщо INSERT порушує обмеження унікальності. UPSERT не є стандартним SQL. UPSERT в SQLite дотримується синтаксису, встановленого PostgreSQL. Синтаксис UPSERT додано до SQLite з версією 3.24.0 (очікує на розгляд).

UPSERT - це звичайне твердження INSERT, яке супроводжується спеціальним пунктом ON CONFLICT

^{Джерело зображення: https://www.sqlite.org/images/syntax/upsert-clause.gif}

Ви дійсно можете зробити перерву в SQLite, це просто виглядає трохи інакше, ніж ви звикли. Це виглядатиме приблизно так:

INSERT INTO table name (column1, column2) 
VALUES ("value12", "value2") WHERE id = 123 
ON CONFLICT DO UPDATE 
SET column1 = "value1", column2 = "value2" WHERE id = 123

Розширюючи відповідь Арістотеля, ви можете ВИБІРАТИ з манекена «одинарний» таблицю (таблицю власного творіння з одним рядком). Це дозволяє уникнути певного дублювання.

Я також зберігав приклад портативного в MySQL та SQLite і використовував стовпець 'date_added' як приклад того, як ви могли встановити стовпчик лише в перший раз.

 REPLACE INTO page (
   id,
   name,
   title,
   content,
   author,
   date_added)
 SELECT
   old.id,
   "about",
   "About this site",
   old.content,
   42,
   IFNULL(old.date_added,"21/05/2013")
 FROM singleton
 LEFT JOIN page AS old ON old.name = "about";

Найкращий підхід, який я знаю, - це оновлення, а потім вставка. "Накладні витрати на вибір" необхідні, але це не страшний тягар, оскільки ви шукаєте на первинному ключі, який швидко.

Ви повинні мати змогу змінювати наведені нижче оператори з іменами таблиці та полів, щоб робити те, що ви хочете.

--first, update any matches
UPDATE DESTINATION_TABLE DT
SET
  MY_FIELD1 = (
              SELECT MY_FIELD1
              FROM SOURCE_TABLE ST
              WHERE ST.PRIMARY_KEY = DT.PRIMARY_KEY
              )
 ,MY_FIELD2 = (
              SELECT MY_FIELD2
              FROM SOURCE_TABLE ST
              WHERE ST.PRIMARY_KEY = DT.PRIMARY_KEY
              )
WHERE EXISTS(
            SELECT ST2.PRIMARY_KEY
            FROM
              SOURCE_TABLE ST2
             ,DESTINATION_TABLE DT2
            WHERE ST2.PRIMARY_KEY = DT2.PRIMARY_KEY
            );

--second, insert any non-matches
INSERT INTO DESTINATION_TABLE(
  MY_FIELD1
 ,MY_FIELD2
)
SELECT
  ST.MY_FIELD1
 ,NULL AS MY_FIELD2  --insert NULL into this field
FROM
  SOURCE_TABLE ST
WHERE NOT EXISTS(
                SELECT DT2.PRIMARY_KEY
                FROM DESTINATION_TABLE DT2
                WHERE DT2.PRIMARY_KEY = ST.PRIMARY_KEY
                );

Якщо хтось хоче прочитати моє рішення для SQLite в Кордові, я отримав цей загальний метод js завдяки відповіді @david вище.

function    addOrUpdateRecords(tableName, values, callback) {
get_columnNames(tableName, function (data) {
    var columnNames = data;
    myDb.transaction(function (transaction) {
        var query_update = "";
        var query_insert = "";
        var update_string = "UPDATE " + tableName + " SET ";
        var insert_string = "INSERT INTO " + tableName + " SELECT ";
        myDb.transaction(function (transaction) {
            // Data from the array [[data1, ... datan],[()],[()]...]:
            $.each(values, function (index1, value1) {
                var sel_str = "";
                var upd_str = "";
                var remoteid = "";
                $.each(value1, function (index2, value2) {
                    if (index2 == 0) remoteid = value2;
                    upd_str = upd_str + columnNames[index2] + "='" + value2 + "', ";
                    sel_str = sel_str + "'" + value2 + "', ";
                });
                sel_str = sel_str.substr(0, sel_str.length - 2);
                sel_str = sel_str + " WHERE NOT EXISTS(SELECT changes() AS change FROM "+tableName+" WHERE change <> 0);";
                upd_str = upd_str.substr(0, upd_str.length - 2);
                upd_str = upd_str + " WHERE remoteid = '" + remoteid + "';";                    
                query_update = update_string + upd_str;
                query_insert = insert_string + sel_str;  
                // Start transaction:
                transaction.executeSql(query_update);
                transaction.executeSql(query_insert);                    
            });
        }, function (error) {
            callback("Error: " + error);
        }, function () {
            callback("Success");
        });
    });
});
}

Отже, спочатку підберіть назви стовпців з цією функцією:

function get_columnNames(tableName, callback) {
myDb.transaction(function (transaction) {
    var query_exec = "SELECT name, sql FROM sqlite_master WHERE type='table' AND name ='" + tableName + "'";
    transaction.executeSql(query_exec, [], function (tx, results) {
        var columnParts = results.rows.item(0).sql.replace(/^[^\(]+\(([^\)]+)\)/g, '$1').split(','); ///// RegEx
        var columnNames = [];
        for (i in columnParts) {
            if (typeof columnParts[i] === 'string')
                columnNames.push(columnParts[i].split(" ")[0]);
        };
        callback(columnNames);
    });
});
}

Потім будуйте транзакції програмно.

"Значення" - це масив, який слід створити раніше, і він представляє рядки, які ви хочете вставити або оновити в таблицю.

"remoteid" - це ідентифікатор, який я використовував як довідник, оскільки синхронізуюсь із віддаленим сервером.

Для використання плагіна SQLite Cordova перейдіть на офіційне посилання

Цей метод реміксує декілька інших методів з відповіді на це питання і включає використання CTE (Загальні вирази таблиць). Я введу запит, потім поясню, чому я зробив те, що робив.

Я хотів би змінити прізвище працівника 300 на DAVIS, якщо є працівник 300. В іншому випадку я додам нового працівника.

Назва таблиці: Співробітники Стовпці: id, ім’я, прізвище

Запит:

INSERT OR REPLACE INTO employees (employee_id, first_name, last_name)
WITH registered_employees AS ( --CTE for checking if the row exists or not
    SELECT --this is needed to ensure that the null row comes second
        *
    FROM (
        SELECT --an existing row
            *
        FROM
            employees
        WHERE
            employee_id = '300'

        UNION

        SELECT --a dummy row if the original cannot be found
            NULL AS employee_id,
            NULL AS first_name,
            NULL AS last_name
    )
    ORDER BY
        employee_id IS NULL --we want nulls to be last
    LIMIT 1 --we only want one row from this statement
)
SELECT --this is where you provide defaults for what you would like to insert
    registered_employees.employee_id, --if this is null the SQLite default will be used
    COALESCE(registered_employees.first_name, 'SALLY'),
    'DAVIS'
FROM
    registered_employees
;

В основному я використовував CTE, щоб зменшити кількість разів, який повинен використовувати оператор select для визначення значень за замовчуванням. Оскільки це CTE, ми просто вибираємо потрібні стовпці з таблиці, і оператор INSERT використовує це.

Тепер ви можете вирішити, які за замовчуванням ви хочете використовувати, замінивши нулі, у функції COALESCE на те, якими мають бути значення.

Слідом за Аристотель Pagaltzis і ідею COALESCEвід відповіді Еріка Б , ось це варіант upsert оновити тільки декілька стовпців або вставити повну рядок , якщо вона не існує.

У цьому випадку уявіть, що заголовок та вміст слід оновити, зберігаючи інші старі значення, коли вони існують, та вставляючи надані, коли ім’я не знайдено:

ПРИМІТКА id змушений бути NULL тоді, коли INSERTвін повинен бути автоматичним збільшенням. Якщо це лише генерований первинний ключ, то COALESCEйого також можна використовувати (див. Коментар Арістотеля Пагальціса ).

WITH new (id, name, title, content, author)
     AS ( VALUES(100, 'about', 'About this site', 'Whatever new content here', 42) )
INSERT OR REPLACE INTO page (id, name, title, content, author)
SELECT
     old.id, COALESCE(old.name, new.name),
     new.title, new.content,
     COALESCE(old.author, new.author)
FROM new LEFT JOIN page AS old ON new.name = old.name;

Тож загальним правилом буде, якщо ви хочете зберегти старі значення, використовуйте COALESCE, коли ви хочете оновити значення, використовуйтеnew.fieldname

Я думаю, це саме те, що ви шукаєте: пункт ON CONFLICT .

Якщо ви визначите свою таблицю так:

CREATE TABLE table1( 
    id INTEGER PRIMARY KEY ON CONFLICT REPLACE, 
    field1 TEXT 
); 

Тепер, якщо ви робите INSERT з ідентифікатором, який вже існує, SQLite автоматично робить UPDATE замість INSERT.

Хт ...

Якщо ви не проти зробити це за дві операції.

Кроки:

1) Додайте нові елементи за допомогою "ВСТАВИТЬ АБО IGNORE"

2) Оновіть наявні елементи за допомогою "UPDATE"

Вхід до обох етапів - однакова колекція нових або оновлених елементів. Добре працює з існуючими елементами, які не потребують змін. Вони будуть оновлюватися, але з тими ж даними, тому чистий результат не буде змін.

Звичайно, повільніше і т. Д. Неефективна. Так.

Легко написати sql та підтримувати та розуміти його? Безумовно.

Це компроміс для розгляду. Чудово підходить для невеликих наборів. Чудово підходить для тих, хто не проти жертвувати ефективністю для ремонту коду.

Щойно прочитавши цю тему і розчарувавшись у тому, що не просто було до цього "UPSERT", я дослідив далі ...

Насправді це можна зробити прямо і легко в SQLITE.

Замість використання: INSERT INTO

Використання: INSERT OR REPLACE INTO

Це робить саме те, що ви хочете!

SELECT COUNT(*) FROM table1 WHERE id = 1;

якщо COUNT(*) = 0

INSERT INTO table1(col1, col2, cole) VALUES(var1,var2,var3);

інше якщо COUNT(*) > 0

UPDATE table1 SET col1 = var4, col2 = var5, col3 = var6 WHERE id = 1;