Видалити копії записів у PostgreSQL

У мене є таблиця в базі даних PostgreSQL 8.3.8, яка не має на ній ключів / обмежень і має кілька рядків з абсолютно однаковими значеннями.

Я хотів би видалити всі дублікати і зберегти лише 1 примірник кожного рядка.

Зокрема, є один стовпець (з назвою "ключ"), який може використовуватися для ідентифікації дублікатів (тобто повинен існувати лише один запис для кожного окремого "ключа").

Як я можу це зробити? (в ідеалі з однією командою SQL) Швидкість не є проблемою в цьому випадку (є лише кілька рядків).

DELETE FROM dupes a
WHERE a.ctid <> (SELECT min(b.ctid)
                 FROM   dupes b
                 WHERE  a.key = b.key);

Більш швидке рішення

DELETE FROM dups a USING (
      SELECT MIN(ctid) as ctid, key
        FROM dups 
        GROUP BY key HAVING COUNT(*) > 1
      ) b
      WHERE a.key = b.key 
      AND a.ctid <> b.ctid

Це швидко і стисло:

DELETE FROM dupes T1
    USING   dupes T2
WHERE   T1.ctid < T2.ctid  -- delete the older versions
    AND T1.key  = T2.key;  -- add more columns if needed

Дивіться також мою відповідь у розділі Як видалити повторювані рядки без унікального ідентифікатора, який містить додаткову інформацію.

Я спробував це:

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

надано Postgres wiki:

https://wiki.postgresql.org/wiki/Deleting_duplicates

Мені довелося створити власну версію. Версія, написана @a_horse_with_no_name, занадто повільна на моєму столі (21М рядків). І @rapimo просто не видаляє дупи.

Ось що я використовую у PostgreSQL 9.5

DELETE FROM your_table
WHERE ctid IN (
  SELECT unnest(array_remove(all_ctids, actid))
  FROM (
         SELECT
           min(b.ctid)     AS actid,
           array_agg(ctid) AS all_ctids
         FROM your_table b
         GROUP BY key1, key2, key3, key4
         HAVING count(*) > 1) c);

Я б використовував тимчасову таблицю:

create table tab_temp as
select distinct f1, f2, f3, fn
  from tab;

Потім видаліть tabі перейменуйте tab_tempв tab.

Інший підхід (працює лише в тому випадку, якщо у вас є якесь унікальне поле, як idу вашій таблиці) для пошуку всіх унікальних ідентифікаторів за стовпцями та видалення інших ідентифікаторів, які не є в унікальному списку

DELETE
FROM users
WHERE users.id NOT IN (SELECT DISTINCT ON (username, email) id FROM users);

Як щодо:

З
  u ЯК (ВИБІРТЕ ДИСТАНТ * від ВІД_таблиці),
  x ЯК (Зняти з вашого_таблиці)
ВСТАВИТИ У your_table SELECT * ВІД u;

Я був стурбований замовленням на виконання, чи відбудеться ВИДАЛЕНО до вибору ВИБІРУВАННЯ, але це працює добре для мене. І має додатковий бонус за те, що не потрібно ніяких знань про структуру таблиці.

Це добре спрацювало для мене. У мене була таблиця, терміни, яка містила повторювані значення. Запустив запит, щоб заповнити таблицю темпів усіма повторюваними рядками. Потім я запустив операцію видалення з тими ідентифікаторами в темп таблиці. значення - стовпець, який містив дублікати.

        CREATE TEMP TABLE dupids AS
        select id from (
                    select value, id, row_number() 
over (partition by value order by value) 
    as rownum from terms
                  ) tmp
                  where rownum >= 2;

delete from [table] where id in (select id from dupids)

Ось рішення з використанням PARTITION BY:

DELETE FROM dups
USING (
  SELECT
    ctid,
    (ctid != min(ctid) OVER (PARTITION BY key_column1, key_column2 [...])) AS is_duplicate
  FROM dups 
) dups_find_duplicates
WHERE dups.ctid == dups_find_duplicates.ctid
AND dups_find_duplicates.is_duplicate