Як я можу видалити повторювані рядки?

Який найкращий спосіб видалити повторювані рядки з досить великої SQL Serverтаблиці (тобто 300 000+ рядків)?

Рядки, звичайно, не будуть ідеальними дублікатами через існування RowIDполя ідентичності.

MyTable

RowID int not null identity(1,1) primary key,
Col1 varchar(20) not null,
Col2 varchar(2048) not null,
Col3 tinyint not null

Припускаючи , що ні анулює, то GROUP BYунікальні колони, і RowId як ряд , щоб зберегти. Потім просто видаліть усе, у якому не було ідентифікатора рядка:SELECTMIN (or MAX)

DELETE FROM MyTable
LEFT OUTER JOIN (
   SELECT MIN(RowId) as RowId, Col1, Col2, Col3 
   FROM MyTable 
   GROUP BY Col1, Col2, Col3
) as KeepRows ON
   MyTable.RowId = KeepRows.RowId
WHERE
   KeepRows.RowId IS NULL

Якщо у вас GUID замість цілого числа, його можна замінити

MIN(RowId)

з

CONVERT(uniqueidentifier, MIN(CONVERT(char(36), MyGuidColumn)))

Ще один можливий спосіб цього зробити

; 

--Ensure that any immediately preceding statement is terminated with a semicolon above
WITH cte
     AS (SELECT ROW_NUMBER() OVER (PARTITION BY Col1, Col2, Col3 
                                       ORDER BY ( SELECT 0)) RN
         FROM   #MyTable)
DELETE FROM cte
WHERE  RN > 1;

Я використовую ORDER BY (SELECT 0)вище, оскільки це довільно, який рядок потрібно зберегти у випадку зв'язання.

Щоб зберегти найновіший RowID, щоб, наприклад, можна було його використовуватиORDER BY RowID DESC

Плани виконання

План виконання для цього часто простіший та ефективніший, ніж у прийнятій відповіді, оскільки він не вимагає самостійного приєднання.

Однак це не завжди так. Одне місце, де GROUP BYрішення може бути кращим - це ситуації, коли хеш-агрегат вибирався б на користь потокового агрегату.

ROW_NUMBERРішення завжди буде давати в значній мірі той же план , тоді як GROUP BYстратегія є більш гнучкою.

Фактори, які можуть сприяти хеш-сукупному підходу, були б

• Немає корисного індексу на стовпчиках розділів
• порівняно менше груп із відносно більшою кількістю дублікатів у кожній групі

У крайніх версіях цього другого випадку (якщо є дуже мало груп з багатьма дублікатами в кожній), можна також розглянути можливість просто вставити рядки для збереження в нову таблицю, потім TRUNCATE- копіювання оригіналу та копіювання їх назад, щоб мінімізувати ведення журналу порівняно зі видаленням дуже висока частка рядів.

На веб-сайті підтримки Microsoft є добра стаття про видалення дублікатів . Це досить консервативно - вони змушують вас робити все окремими кроками - але це повинно добре працювати проти великих столів.

Раніше я використовував самоз'єднання для цього, хоча це, можливо, було б видозмінено за допомогою клавіші HAVING:

DELETE dupes
FROM MyTable dupes, MyTable fullTable
WHERE dupes.dupField = fullTable.dupField 
AND dupes.secondDupField = fullTable.secondDupField 
AND dupes.uniqueField > fullTable.uniqueField

Наступний запит корисний для видалення повторюваних рядків. Таблиці в цьому прикладі , мають в IDякості стовпчика ідентифікації , а стовпці , які мають дублюючі дані є Column1, Column2і Column3.

DELETE FROM TableName
WHERE  ID NOT IN (SELECT MAX(ID)
                  FROM   TableName
                  GROUP  BY Column1,
                            Column2,
                            Column3
                  /*Even if ID is not null-able SQL Server treats MAX(ID) as potentially
                    nullable. Because of semantics of NOT IN (NULL) including the clause
                    below can simplify the plan*/
                  HAVING MAX(ID) IS NOT NULL) 

Наступний скрипт показує використання GROUP BY, HAVING, ORDER BYв одному запиті, і повертає результати з повторюваним шпальти і його підрахунку.

SELECT YourColumnName,
       COUNT(*) TotalCount
FROM   YourTableName
GROUP  BY YourColumnName
HAVING COUNT(*) > 1
ORDER  BY COUNT(*) DESC 

delete t1
from table t1, table t2
where t1.columnA = t2.columnA
and t1.rowid>t2.rowid

Постгреси:

delete
from table t1
using table t2
where t1.columnA = t2.columnA
and t1.rowid > t2.rowid

DELETE LU 
FROM   (SELECT *, 
               Row_number() 
                 OVER ( 
                   partition BY col1, col1, col3 
                   ORDER BY rowid DESC) [Row] 
        FROM   mytable) LU 
WHERE  [row] > 1 

Це видалить повторювані рядки, крім першого ряду

DELETE
FROM
    Mytable
WHERE
    RowID NOT IN (
        SELECT
            MIN(RowID)
        FROM
            Mytable
        GROUP BY
            Col1,
            Col2,
            Col3
    )

Посилання ( http://www.codeproject.com/Articles/157977/Remove-Duplicate-Rows-from-a-Table-in-SQL-Server )

Я віддаю перевагу CTE для видалення повторюваних рядків із таблиці серверів sql

настійно рекомендую дотримуватися цієї статті :: http://codaffection.com/sql-server-article/delete-duplicate-rows-in-sql-server/

зберігаючи оригінал

WITH CTE AS
(
SELECT *,ROW_NUMBER() OVER (PARTITION BY col1,col2,col3 ORDER BY col1,col2,col3) AS RN
FROM MyTable
)

DELETE FROM CTE WHERE RN<>1

без збереження оригіналу

WITH CTE AS
(SELECT *,R=RANK() OVER (ORDER BY col1,col2,col3)
FROM MyTable)
 
DELETE CTE
WHERE R IN (SELECT R FROM CTE GROUP BY R HAVING COUNT(*)>1)

Для отримання повторюваних рядків:

SELECT
name, email, COUNT(*)
FROM 
users
GROUP BY
name, email
HAVING COUNT(*) > 1

Щоб видалити повторювані рядки:

DELETE users 
WHERE rowid NOT IN 
(SELECT MIN(rowid)
FROM users
GROUP BY name, email);      

Швидке та брудне видалення точних дублюваних рядків (для невеликих таблиць):

select  distinct * into t2 from t1;
delete from t1;
insert into t1 select *  from t2;
drop table t2;

Я віддаю перевагу підзапросу \ мати count (*)> 1 рішення для внутрішнього з'єднання, тому що мені було легше читати, і це було дуже легко перетворити на оператор SELECT, щоб перевірити, що буде видалено, перш ніж запустити його.

--DELETE FROM table1 
--WHERE id IN ( 
     SELECT MIN(id) FROM table1 
     GROUP BY col1, col2, col3 
     -- could add a WHERE clause here to further filter
     HAVING count(*) > 1
--)

SELECT  DISTINCT *
      INTO tempdb.dbo.tmpTable
FROM myTable

TRUNCATE TABLE myTable
INSERT INTO myTable SELECT * FROM tempdb.dbo.tmpTable
DROP TABLE tempdb.dbo.tmpTable

Я думав, що поділюсь своїм рішенням, оскільки воно працює за особливих обставин. У моєму випадку таблиця з повторюваними значеннями не мала стороннього ключа (оскільки значення дублювалися з іншого db).

begin transaction
-- create temp table with identical structure as source table
Select * Into #temp From tableName Where 1 = 2

-- insert distinct values into temp
insert into #temp 
select distinct * 
from  tableName

-- delete from source
delete from tableName 

-- insert into source from temp
insert into tableName 
select * 
from #temp

rollback transaction
-- if this works, change rollback to commit and execute again to keep you changes!!

PS: працюючи над подібними речами, я завжди використовую транзакцію, це не тільки забезпечує все, що виконується в цілому, але і дозволяє мені протестувати, нічого не ризикуючи. Але поза увагою, ви все одно повинні взяти резервну копію, щоб бути впевненою ...

Цей запит показав для мене дуже хороші показники:

DELETE tbl
FROM
    MyTable tbl
WHERE
    EXISTS (
        SELECT
            *
        FROM
            MyTable tbl2
        WHERE
            tbl2.SameValue = tbl.SameValue
        AND tbl.IdUniqueValue < tbl2.IdUniqueValue
    )

вона видалила 1М рядків трохи більше 30 сек з таблиці 2М (50% дублікатів)

Використання CTE. Ідея полягає в тому, щоб приєднатися до одного або декількох стовпців, які утворюють повторюваний запис, а потім видалити те, що вам завгодно:

;with cte as (
    select 
        min(PrimaryKey) as PrimaryKey
        UniqueColumn1,
        UniqueColumn2
    from dbo.DuplicatesTable 
    group by
        UniqueColumn1, UniqueColumn1
    having count(*) > 1
)
delete d
from dbo.DuplicatesTable d 
inner join cte on 
    d.PrimaryKey > cte.PrimaryKey and
    d.UniqueColumn1 = cte.UniqueColumn1 and 
    d.UniqueColumn2 = cte.UniqueColumn2;

Ще одне просте рішення можна знайти за посиланням, яке тут вклеєно . Це легко зрозуміти і, здається, є ефективним для більшості подібних проблем. Він призначений для SQL Server, але концепція, що використовується, більш ніж прийнятна.

Ось відповідні частини зі пов’язаної сторінки:

Розглянемо ці дані:

EMPLOYEE_ID ATTENDANCE_DATE
A001    2011-01-01
A001    2011-01-01
A002    2011-01-01
A002    2011-01-01
A002    2011-01-01
A003    2011-01-01

Тож як можна видалити ці дублікати даних?

Спочатку вставте стовпець посвідчення в цю таблицю, використовуючи наступний код:

ALTER TABLE dbo.ATTENDANCE ADD AUTOID INT IDENTITY(1,1)  

Використовуйте такий код, щоб вирішити його:

DELETE FROM dbo.ATTENDANCE WHERE AUTOID NOT IN (SELECT MIN(AUTOID) _
    FROM dbo.ATTENDANCE GROUP BY EMPLOYEE_ID,ATTENDANCE_DATE) 

Ось ще одна гарна стаття про видалення дублікатів .

У ньому обговорюється, чому це важко: " SQL заснований на реляційній алгебрі, а дублікати не можуть зустрічатися в реляційній алгебрі, оскільки дублікати не дозволені в наборі ".

Рішення таблиці темп та два приклади mysql.

В майбутньому ви збираєтеся запобігти це на рівні бази даних або з точки зору програми. Я б запропонував рівень бази даних, оскільки ваша база даних повинна відповідати за підтримку референтної цілісності, розробники просто спричинить проблеми;)

О, звичайно. Використовуйте таблицю темп. Якщо ви хочете отримати одне, не дуже ефективне твердження, яке "працює", ви можете:

DELETE FROM MyTable WHERE NOT RowID IN
    (SELECT 
        (SELECT TOP 1 RowID FROM MyTable mt2 
        WHERE mt2.Col1 = mt.Col1 
        AND mt2.Col2 = mt.Col2 
        AND mt2.Col3 = mt.Col3) 
    FROM MyTable mt)

В основному, для кожного рядка таблиці підвідбір знаходить верхній RowID усіх рядків, які точно схожі на розглянутий рядок. Отже, ви закінчуєте список RowID, які представляють "оригінальні" не дублюються рядки.

У мене була таблиця, де мені потрібно було зберегти неповторні рядки. Я не впевнений у швидкості чи ефективності.

DELETE FROM myTable WHERE RowID IN (
  SELECT MIN(RowID) AS IDNo FROM myTable
  GROUP BY Col1, Col2, Col3
  HAVING COUNT(*) = 2 )

Використовуй це

WITH tblTemp as
(
SELECT ROW_NUMBER() Over(PARTITION BY Name,Department ORDER BY Name)
   As RowNumber,* FROM <table_name>
)
DELETE FROM tblTemp where RowNumber >1

Інший спосіб - Створити нову таблицю з тими ж полями та за допомогою унікального індексу . Потім перемістіть усі дані зі старої таблиці до нової таблиці . Автоматично ігнорувати SQL SERVER (також є варіант про те, що робити, якщо буде повторюване значення: ігнорувати, переривати чи sth) дублюючі значення. Отже, у нас однакова таблиця без повторюваних рядків. Якщо ви не хочете унікального індексу, після передачі даних ви можете його скинути .

Особливо для великих таблиць ви можете використовувати DTS (пакет SSIS для імпорту / експорту даних) для швидкого перенесення всіх даних у вашу нову унікально індексовану таблицю. На 7 мільйонів рядів потрібно лише кілька хвилин.

Використовуючи запит нижче, ми можемо видалити повторювані записи на основі одного стовпця або декількох стовпців. нижче запит видаляється на основі двох стовпців. назва таблиці: testingта назви стовпцівempno,empname

DELETE FROM testing WHERE empno not IN (SELECT empno FROM (SELECT empno, ROW_NUMBER() OVER (PARTITION BY empno ORDER BY empno) 
AS [ItemNumber] FROM testing) a WHERE ItemNumber > 1)
or empname not in
(select empname from (select empname,row_number() over(PARTITION BY empno ORDER BY empno) 
AS [ItemNumber] FROM testing) a WHERE ItemNumber > 1)

1. Створіть нову порожню таблицю з тією ж структурою

2. Виконайте такий запит

   INSERT INTO tc_category1
   SELECT *
   FROM tc_category
   GROUP BY category_id, application_id
   HAVING count(*) > 1

3. Потім виконайте цей запит

   INSERT INTO tc_category1
   SELECT *
   FROM tc_category
   GROUP BY category_id, application_id
   HAVING count(*) = 1

Це найпростіший спосіб видалення дубліката запису

 DELETE FROM tblemp WHERE id IN 
 (
  SELECT MIN(id) FROM tblemp
   GROUP BY  title HAVING COUNT(id)>1
 )

http://askme.indianyouth.info/details/how-to-dumplicate-record-from-table-in-using-sql-105

Я б зазначив такий підхід, як він може бути корисним, і він працює на всіх SQL-серверах: Досить часто існує лише один - два дублікати, і ІД та кількість дублікатів відомі. В цьому випадку:

SET ROWCOUNT 1 -- or set to number of rows to be deleted
delete from myTable where RowId = DuplicatedID
SET ROWCOUNT 0

З рівня програми (на жаль). Я погоджуюся, що правильний спосіб запобігти дублюванню - це на рівні бази даних за допомогою унікального індексу, але в SQL Server 2005 індекс має бути лише 900 байт, і моє поле varchar (2048) видаляє це.

Я не знаю, наскільки добре це буде, але я думаю, що ви можете написати тригер для цього, навіть якщо ви не могли зробити це безпосередньо з індексом. Щось на зразок:

-- given a table stories(story_id int not null primary key, story varchar(max) not null)
CREATE TRIGGER prevent_plagiarism 
ON stories 
after INSERT, UPDATE 
AS 
    DECLARE @cnt AS INT 

    SELECT @cnt = Count(*) 
    FROM   stories 
           INNER JOIN inserted 
                   ON ( stories.story = inserted.story 
                        AND stories.story_id != inserted.story_id ) 

    IF @cnt > 0 
      BEGIN 
          RAISERROR('plagiarism detected',16,1) 

          ROLLBACK TRANSACTION 
      END 

Також варчар (2048 р.) Звучить для мене рибно (деякі речі в житті - 2048 байт, але це досить незвично); чи справді це не має бути varchar (max)?

Ще один спосіб зробити це: -

DELETE A
FROM   TABLE A,
       TABLE B
WHERE  A.COL1 = B.COL1
       AND A.COL2 = B.COL2
       AND A.UNIQUEFIELD > B.UNIQUEFIELD 

DELETE
FROM
    table_name T1
WHERE
    rowid > (
        SELECT
            min(rowid)
        FROM
            table_name T2
        WHERE
            T1.column_name = T2.column_name
    );

CREATE TABLE car(Id int identity(1,1), PersonId int, CarId int)

INSERT INTO car(PersonId,CarId)
VALUES(1,2),(1,3),(1,2),(2,4)

--SELECT * FROM car

;WITH CTE as(
SELECT ROW_NUMBER() over (PARTITION BY personid,carid order by personid,carid) as rn,Id,PersonID,CarId from car)

DELETE FROM car where Id in(SELECT Id FROM CTE WHERE rn>1)

Я хочу переглянути попередній рядок, який ви збираєтеся видалити, і контролювати, який із повторюваних рядків потрібно зберегти. Дивіться http://developer.azurewebsites.net/2014/09/better-sql-group-by-find-duplicate-data/

with MYCTE as (
  SELECT ROW_NUMBER() OVER (
    PARTITION BY DuplicateKey1
                ,DuplicateKey2 -- optional
    ORDER BY CreatedAt -- the first row among duplicates will be kept, other rows will be removed
  ) RN
  FROM MyTable
)
DELETE FROM MYCTE
WHERE RN > 1