Пошук повторюваних значень у таблиці SQL

Легко знайти дублікати з одним полем:

SELECT name, COUNT(email) 
FROM users
GROUP BY email
HAVING COUNT(email) > 1

Так що якщо у нас є таблиця

ID   NAME   EMAIL
1    John   asd@asd.com
2    Sam    asd@asd.com
3    Tom    asd@asd.com
4    Bob    bob@asd.com
5    Tom    asd@asd.com

Цей запит дасть нам Джон, Сем, Том, Том, оскільки всі вони однакові email.

Однак те, що я хочу, - це отримати дублікати з тим самим email і name .

Тобто я хочу отримати «Том», «Том».

Причина мені потрібна: я помилився і дозволив вставити дублікат nameта emailзначення. Тепер мені потрібно видалити / змінити дублікати, тому мені потрібно спочатку їх знайти .

SELECT
    name, email, COUNT(*)
FROM
    users
GROUP BY
    name, email
HAVING 
    COUNT(*) > 1

Просто згрупуйте обидві стовпці.

Примітка. Старіший стандарт ANSI полягає у тому, щоб усі групи, що не агрегуються, у групі GROUP BY, але це змінилося з ідеєю "функціональної залежності" :

У теорії реляційних баз даних функціональна залежність є обмеженням між двома наборами атрибутів у відношенні до бази даних. Іншими словами, функціональна залежність - це обмеження, яке описує зв'язок між атрибутами у відношенні.

Підтримка не відповідає:

• Останні PostgreSQL підтримують його .
• SQL Server (як на SQL Server 2017) все ще вимагає всіх неагрегованих стовпців у групі BY.
• MySQL непередбачуваний, і вам потрібно sql_mode=only_full_group_by:
  • ГРУПА ПО ІМЕНЮ ЗАМОВЛЕННЯ, показуючи неправильні результати ;
  • Яка найменш дорога сукупна функція за відсутності будь-якого () (див. Коментарі у прийнятій відповіді).
• Oracle недостатньо основний (попередження: гумор, я не знаю про Oracle).

спробуйте це:

declare @YourTable table (id int, name varchar(10), email varchar(50))

INSERT @YourTable VALUES (1,'John','John-email')
INSERT @YourTable VALUES (2,'John','John-email')
INSERT @YourTable VALUES (3,'fred','John-email')
INSERT @YourTable VALUES (4,'fred','fred-email')
INSERT @YourTable VALUES (5,'sam','sam-email')
INSERT @YourTable VALUES (6,'sam','sam-email')

SELECT
    name,email, COUNT(*) AS CountOf
    FROM @YourTable
    GROUP BY name,email
    HAVING COUNT(*)>1

ВИХІД:

name       email       CountOf
---------- ----------- -----------
John       John-email  2
sam        sam-email   2

(2 row(s) affected)

якщо ви хочете, щоб ідентифікатори дупів використовують це:

SELECT
    y.id,y.name,y.email
    FROM @YourTable y
        INNER JOIN (SELECT
                        name,email, COUNT(*) AS CountOf
                        FROM @YourTable
                        GROUP BY name,email
                        HAVING COUNT(*)>1
                    ) dt ON y.name=dt.name AND y.email=dt.email

ВИХІД:

id          name       email
----------- ---------- ------------
1           John       John-email
2           John       John-email
5           sam        sam-email
6           sam        sam-email

(4 row(s) affected)

для видалення дублікатів спробуйте:

DELETE d
    FROM @YourTable d
        INNER JOIN (SELECT
                        y.id,y.name,y.email,ROW_NUMBER() OVER(PARTITION BY y.name,y.email ORDER BY y.name,y.email,y.id) AS RowRank
                        FROM @YourTable y
                            INNER JOIN (SELECT
                                            name,email, COUNT(*) AS CountOf
                                            FROM @YourTable
                                            GROUP BY name,email
                                            HAVING COUNT(*)>1
                                        ) dt ON y.name=dt.name AND y.email=dt.email
                   ) dt2 ON d.id=dt2.id
        WHERE dt2.RowRank!=1
SELECT * FROM @YourTable

ВИХІД:

id          name       email
----------- ---------- --------------
1           John       John-email
3           fred       John-email
4           fred       fred-email
5           sam        sam-email

(4 row(s) affected)

Спробуйте це:

SELECT name, email
FROM users
GROUP BY name, email
HAVING ( COUNT(*) > 1 )

Якщо ви хочете видалити дублікати, це набагато простіший спосіб зробити це, ніж знаходження парних / непарних рядків у потрійному під-виборі:

SELECT id, name, email 
FROM users u, users u2
WHERE u.name = u2.name AND u.email = u2.email AND u.id > u2.id

І так, щоб видалити:

DELETE FROM users
WHERE id IN (
    SELECT id/*, name, email*/
    FROM users u, users u2
    WHERE u.name = u2.name AND u.email = u2.email AND u.id > u2.id
)

Набагато простіше читати та розуміти ІМХО

Примітка . Єдине питання полягає в тому, що вам потрібно виконати запит, поки не буде видалено рядки, оскільки ви видаляєте лише 1 з кожного дубліката кожен раз

Спробуйте наступне:

SELECT * FROM
(
    SELECT Id, Name, Age, Comments, Row_Number() OVER(PARTITION BY Name, Age ORDER By Name)
        AS Rank 
        FROM Customers
) AS B WHERE Rank>1

 SELECT name, email 
    FROM users
    WHERE email in
    (SELECT email FROM users
    GROUP BY email 
    HAVING COUNT(*)>1)

Трохи запізнюємось на вечірку, але я знайшов дійсно класний спосіб пошуку всіх повторюваних ідентифікаторів:

SELECT GROUP_CONCAT( id )
FROM users
GROUP BY email
HAVING ( COUNT(email) > 1 )

спробуйте цей код

WITH CTE AS

( SELECT Id, Name, Age, Comments, RN = ROW_NUMBER()OVER(PARTITION BY Name,Age ORDER BY ccn)
FROM ccnmaster )
select * from CTE 

Це вибирає / видаляє всі повторювані записи, крім одного запису з кожної групи дублікатів. Отже, видалення залишає всі унікальні записи + по одному запису з кожної групи дублікатів.

Виберіть дублікати:

SELECT *
FROM table
WHERE
    id NOT IN (
        SELECT MIN(id)
        FROM table
        GROUP BY column1, column2
);

Видалити дублікати:

DELETE FROM table
WHERE
    id NOT IN (
        SELECT MIN(id)
        FROM table
        GROUP BY column1, column2
);

Будьте в курсі більшої кількості записів, це може спричинити проблеми з продуктивністю.

У випадку, якщо ви працюєте з Oracle, такий спосіб буде кращим:

create table my_users(id number, name varchar2(100), email varchar2(100));

insert into my_users values (1, 'John', 'asd@asd.com');
insert into my_users values (2, 'Sam', 'asd@asd.com');
insert into my_users values (3, 'Tom', 'asd@asd.com');
insert into my_users values (4, 'Bob', 'bob@asd.com');
insert into my_users values (5, 'Tom', 'asd@asd.com');

commit;

select *
  from my_users
 where rowid not in (select min(rowid) from my_users group by name, email);

select name, email
, case 
when ROW_NUMBER () over (partition by name, email order by name) > 1 then 'Yes'
else 'No'
end "duplicated ?"
from users

Якщо ви хочете побачити, чи є у вашій таблиці якісь повторювані рядки, я використав нижче Запит:

create table my_table(id int, name varchar(100), email varchar(100));

insert into my_table values (1, 'shekh', 'shekh@rms.com');
insert into my_table values (1, 'shekh', 'shekh@rms.com');
insert into my_table values (2, 'Aman', 'aman@rms.com');
insert into my_table values (3, 'Tom', 'tom@rms.com');
insert into my_table values (4, 'Raj', 'raj@rms.com');


Select COUNT(1) As Total_Rows from my_table 
Select Count(1) As Distinct_Rows from ( Select Distinct * from my_table) abc 

Це легка річ, яку я придумав. Він використовує загальний вираз таблиці (CTE) та вікно розділу (я думаю, ці функції є у ​​SQL 2008 та пізніших версіях).

Цей приклад знаходить усіх учнів із подвійним ім'ям та dob. Поля, які ви хочете перевірити на дублювання, входять у пункт OVER. Ви можете включити в проекцію будь-які інші поля.

with cte (StudentId, Fname, LName, DOB, RowCnt)
as (
SELECT StudentId, FirstName, LastName, DateOfBirth as DOB, SUM(1) OVER (Partition By FirstName, LastName, DateOfBirth) as RowCnt
FROM tblStudent
)
SELECT * from CTE where RowCnt > 1
ORDER BY DOB, LName

select id,name,COUNT(*) from user group by Id,Name having COUNT(*)>1

Як ми можемо порахувати дублювані значення ?? або це повторюється 2 рази або більше 2. просто порахуйте їх, а не групово.

так просто, як

select COUNT(distinct col_01) from Table_01

Використовуючи CTE, ми також можемо знайти подібне значення

with MyCTE
as
(
select Name,EmailId,ROW_NUMBER() over(PARTITION BY EmailId order by id) as Duplicate from [Employees]

)
select * from MyCTE where Duplicate>1

 select emp.ename, emp.empno, dept.loc 
          from emp
 inner join dept 
          on dept.deptno=emp.deptno
 inner join
    (select ename, count(*) from
    emp
    group by ename, deptno
    having count(*) > 1)
 t on emp.ename=t.ename order by emp.ename
/

SELECT id, COUNT(id) FROM table1 GROUP BY id HAVING COUNT(id)>1;

Я думаю, що це справно працює для пошуку повторних значень у певному стовпчику.

SELECT * FROM users u where rowid = (select max(rowid) from users u1 where
u.email=u1.email);

Це також має працювати, можливо, спробуйте.

  Select * from Users a
            where EXISTS (Select * from Users b 
                where (     a.name = b.name 
                        OR  a.email = b.email)
                     and a.ID != b.id)

Особливо добре у вашому випадку, якщо ви шукаєте дублікати, які мають якийсь префікс або загальну зміну, наприклад, новий домен в пошті. тоді ви можете використовувати заміну () у цих стовпцях

Якщо ви хочете знайти дублікати даних (за одним або декількома критеріями) та виберіть фактичні рядки.

with MYCTE as (
    SELECT DuplicateKey1
        ,DuplicateKey2 --optional
        ,count(*) X
    FROM MyTable
    group by DuplicateKey1, DuplicateKey2
    having count(*) > 1
) 
SELECT E.*
FROM MyTable E
JOIN MYCTE cte
ON E.DuplicateKey1=cte.DuplicateKey1
    AND E.DuplicateKey2=cte.DuplicateKey2
ORDER BY E.DuplicateKey1, E.DuplicateKey2, CreatedAt

http://developer.azurewebsites.net/2014/09/better-sql-group-by-find-duplicate-data/

SELECT name, email,COUNT(email) 
FROM users 
WHERE email IN (
    SELECT email 
    FROM users 
    GROUP BY email 
    HAVING COUNT(email) > 1)

Для видалення записів, імена яких дублюються

;WITH CTE AS    
(

    SELECT ROW_NUMBER() OVER (PARTITION BY name ORDER BY name) AS T FROM     @YourTable    
)

DELETE FROM CTE WHERE T > 1

Перевірка від дубліката Запис у таблиці.

select * from users s 
where rowid < any 
(select rowid from users k where s.name = k.name and s.email = k.email);

або

select * from users s 
where rowid not in 
(select max(rowid) from users k where s.name = k.name and s.email = k.email);

Щоб видалити повторюваний запис у таблиці.

delete from users s 
where rowid < any 
(select rowid from users k where s.name = k.name and s.email = k.email);

або

delete from users s 
where rowid not in 
(select max(rowid) from users k where s.name = k.name and s.email = k.email);

SELECT column_name,COUNT(*) FROM TABLE_NAME GROUP BY column1, HAVING COUNT(*) > 1;

Ми можемо використовувати тут роботи, які працюють над сукупними функціями, як показано нижче

create table #TableB (id_account int, data int, [date] date)
insert into #TableB values (1 ,-50, '10/20/2018'),
(1, 20, '10/09/2018'),
(2 ,-900, '10/01/2018'),
(1 ,20, '09/25/2018'),
(1 ,-100, '08/01/2018')  

SELECT id_account , data, COUNT(*)
FROM #TableB
GROUP BY id_account , data
HAVING COUNT(id_account) > 1

drop table #TableB

Тут як Count (*) використовуються два поля id_account та дані. Таким чином, він дасть всі записи, які мають більше ніж один раз однакові значення в обох стовпцях.

Ми чомусь помилково пропустили додавання будь-яких обмежень у таблицю SQL-сервера, і записи були вставлені дублікатами у всі стовпці з додатковою програмою. Тоді ми можемо використовувати нижче запит, щоб видалити повторюваний запит із таблиці.

SELECT DISTINCT * INTO #TemNewTable FROM #OriginalTable
TRUNCATE TABLE #OriginalTable
INSERT INTO #OriginalTable SELECT * FROM #TemNewTable
DROP TABLE #TemNewTable

Тут ми взяли всі окремі записи оригінальної таблиці та видалили записи оригінальної таблиці. Знову ми вставили всі різні значення з нової таблиці в початкову таблицю, а потім видалили нову таблицю.

Ви можете спробувати це

SELECT NAME, EMAIL, COUNT(*)
FROM USERS
GROUP BY 1,2
HAVING COUNT(*) > 1

Найголовніше тут - мати найшвидшу функцію. Також слід визначити індекси дублікатів. Самостійне приєднання - хороший варіант, але для швидшого функціонування краще спочатку знайти рядки з дублікатами, а потім з'єднатись з оригінальною таблицею для пошуку ідентифікованих рядків. Нарешті, доручте будь-якому стовпчику, окрім id, щоб дублювалися рядки один біля одного.

SELECT u.*
FROM users AS u
JOIN (SELECT username, email
      FROM users
      GROUP BY username, email
      HAVING COUNT(*)>1) AS w
ON u.username=w.username AND u.email=w.email
ORDER BY u.email;

Ви можете використовувати ключове слово SELECT DISTINCT, щоб позбутися дублікатів. Ви також можете фільтрувати за назвою та отримувати всіх із цим ім’ям на столі.

Точний код буде відрізнятися залежно від того, ви хочете знайти також повторювані рядки або лише різні ідентифікатори з однаковою електронною поштою та назвою. Якщо id є первинним ключем або має інше обмеження, цього розрізнення не існує, однак питання не вказує цього. У першому випадку ви можете використовувати код, наведений у кількох інших відповідях:

SELECT name, email, COUNT(*)
FROM users
GROUP BY name, email
HAVING COUNT(*) > 1

В останньому випадку ви використовуєте:

SELECT name, email, COUNT(DISTINCT id)
FROM users
GROUP BY name, email
HAVING COUNT(DISTINCT id) > 1
ORDER BY COUNT(DISTINCT id) DESC