Видалення дублікатів рядків у MySQL на місці, (якщо у вас є стовпець часової позначки для впорядкування за посиланням):
Створіть таблицю та вставте кілька рядків:
create table penguins(foo int, bar varchar(15), baz datetime);
insert into penguins values(1, 'skipper', now());
insert into penguins values(1, 'skipper', now());
insert into penguins values(3, 'kowalski', now());
insert into penguins values(3, 'kowalski', now());
insert into penguins values(3, 'kowalski', now());
insert into penguins values(4, 'rico', now());
select * from penguins;
+------+----------+---------------------+
| foo | bar | baz |
+------+----------+---------------------+
| 1 | skipper | 2014-08-25 14:21:54 |
| 1 | skipper | 2014-08-25 14:21:59 |
| 3 | kowalski | 2014-08-25 14:22:09 |
| 3 | kowalski | 2014-08-25 14:22:13 |
| 3 | kowalski | 2014-08-25 14:22:15 |
| 4 | rico | 2014-08-25 14:22:22 |
+------+----------+---------------------+
6 rows in set (0.00 sec)
Видаліть дублікати на місці:
delete a
from penguins a
left join(
select max(baz) maxtimestamp, foo, bar
from penguins
group by foo, bar) b
on a.baz = maxtimestamp and
a.foo = b.foo and
a.bar = b.bar
where b.maxtimestamp IS NULL;
Query OK, 3 rows affected (0.01 sec)
select * from penguins;
+------+----------+---------------------+
| foo | bar | baz |
+------+----------+---------------------+
| 1 | skipper | 2014-08-25 14:21:59 |
| 3 | kowalski | 2014-08-25 14:22:15 |
| 4 | rico | 2014-08-25 14:22:22 |
+------+----------+---------------------+
3 rows in set (0.00 sec)
Ви закінчили, копії рядків видаляються, зберігається останній часовий маркер.
Для тих, хто не має часової позначки або унікальної колонки.
У вас немає timestamp або унікальний стовпчик індексів для сортування? Ти живеш у стані виродження. Вам доведеться зробити додаткові кроки, щоб видалити повторювані рядки.
створити таблицю пінгвінів і додати кілька рядків
create table penguins(foo int, bar varchar(15));
insert into penguins values(1, 'skipper');
insert into penguins values(1, 'skipper');
insert into penguins values(3, 'kowalski');
insert into penguins values(3, 'kowalski');
insert into penguins values(3, 'kowalski');
insert into penguins values(4, 'rico');
select * from penguins;
# +------+----------+
# | foo | bar |
# +------+----------+
# | 1 | skipper |
# | 1 | skipper |
# | 3 | kowalski |
# | 3 | kowalski |
# | 3 | kowalski |
# | 4 | rico |
# +------+----------+
зробіть клон першої таблиці та скопіюйте її.
drop table if exists penguins_copy;
create table penguins_copy as ( SELECT foo, bar FROM penguins );
#add an autoincrementing primary key:
ALTER TABLE penguins_copy ADD moo int AUTO_INCREMENT PRIMARY KEY first;
select * from penguins_copy;
# +-----+------+----------+
# | moo | foo | bar |
# +-----+------+----------+
# | 1 | 1 | skipper |
# | 2 | 1 | skipper |
# | 3 | 3 | kowalski |
# | 4 | 3 | kowalski |
# | 5 | 3 | kowalski |
# | 6 | 4 | rico |
# +-----+------+----------+
Максимальний агрегат працює на новому індексі му:
delete a from penguins_copy a left join(
select max(moo) myindex, foo, bar
from penguins_copy
group by foo, bar) b
on a.moo = b.myindex and
a.foo = b.foo and
a.bar = b.bar
where b.myindex IS NULL;
#drop the extra column on the copied table
alter table penguins_copy drop moo;
select * from penguins_copy;
#drop the first table and put the copy table back:
drop table penguins;
create table penguins select * from penguins_copy;
спостерігати та чистити
drop table penguins_copy;
select * from penguins;
+------+----------+
| foo | bar |
+------+----------+
| 1 | skipper |
| 3 | kowalski |
| 4 | rico |
+------+----------+
Elapsed: 1458.359 milliseconds
Що робить цей великий оператор видалення SQL?
Настільні пінгвіни з псевдонімом "a" залишаються об'єднаними на підмножині настільних пінгвінів, що називаються псевдонімом "b". У правій таблиці «b», яка є підмножиною, знаходяться максимальні часові позначки [або max moo], згруповані за колонами foo та bar. Це відповідає лівій таблиці "a". (foo, bar, baz) зліва має кожен рядок таблиці. Права підмножина 'b' має (maxtimestamp, foo, bar), яка відповідає лівій лише тій, що IS max.
Кожен рядок, який не є таким, має значення maxxtimetamp NULL. Відфільтруйте ці рядки NULL, і у вас є набір усіх рядків, згрупованих по футу та смузі, що не є останнім базовим позначенням часових позначок. Видаліть ці.
Зробіть резервну копію таблиці, перш ніж це запустити.
Не дозволяйте цій проблемі повторюватися на цій таблиці:
Якщо ви змусили це працювати, і він випустив ваш "повторюваний рядок" пожежі. Чудово. Тепер визначте новий складний унікальний ключ на вашій таблиці (у цих двох стовпцях), щоб унеможливити додавання більше дублікатів.
Як і хороша імунна система, погані ряди навіть не слід пускати до столу під час вставки. Пізніше всі ці програми, що додають дублікати, будуть висловлювати свій протест, і коли ви їх виправите, ця проблема ніколи не з’явиться знову.