MySQL - ВИБІРІТЬ, де поле IN (підзапит) - надзвичайно повільно, чому?

У мене в базі даних є кілька дублікатів, які я хочу перевірити, тому що я зробив, щоб побачити, що таке дублікати, я зробив це:

SELECT relevant_field
FROM some_table
GROUP BY relevant_field
HAVING COUNT(*) > 1

Таким чином, я отримаю всі рядки з відповідним полем, що виникає не один раз. Цей запит потребує мілісекунд на виконання.

Тепер я хотів перевірити кожен з дублікатів, тому я подумав, що можу ВИБІРАТИ кожен рядок у some_table із релевантним полем у наведеному вище запиті, тому мені це подобалось:

SELECT *
FROM some_table 
WHERE relevant_field IN
(
    SELECT relevant_field
    FROM some_table
    GROUP BY relevant_field
    HAVING COUNT(*) > 1
)

Це виявляється дуже повільно чомусь (це займає хвилини). Що саме тут відбувається, щоб зробити це так повільно? relevant_field індексується.

Врешті-решт я спробував створити перегляд "temp_view" з першого запиту (SELECT relevant_field FROM some_table GROUP BY relevant_field HAVING COUNT(*) > 1), а потім замість цього зробив свій другий запит:

SELECT *
FROM some_table
WHERE relevant_field IN
(
    SELECT relevant_field
    FROM temp_view
)

І це працює чудово. MySQL робить це за кілька мілісекунд.

Будь-які фахівці SQL тут можуть пояснити, що відбувається?

Перепишіть запит у це

SELECT st1.*, st2.relevant_field FROM sometable st1
INNER JOIN sometable st2 ON (st1.relevant_field = st2.relevant_field)
GROUP BY st1.id  /* list a unique sometable field here*/
HAVING COUNT(*) > 1

Я думаю, що st2.relevant_fieldповинен бути у виборі, тому що в іншому випадку havingставиться помилка, але я не впевнений на 100%

Ніколи не використовуйте INпідзапит; це сумно повільно.
Використовувати лише INз фіксованим списком значень.

Більше порад

1. Якщо ви хочете робити запити швидше, не SELECT *вибирайте лише ті поля, які вам справді потрібні.
2. Переконайтеся, що у вас є індекс, relevant_fieldщоб пришвидшити приєднання.
3. Переконайтеся, що group byна первинному ключі.
4. Якщо ви перебуваєте на InnoDB, і ви вибираєте лише індексовані поля (і речі не надто складні), ніж MySQL вирішить ваш запит, використовуючи лише індекси, прискоривши речей.

Загальне рішення для 90% ваших IN (select запитів

Використовуйте цей код

SELECT * FROM sometable a WHERE EXISTS (
  SELECT 1 FROM sometable b
  WHERE a.relevant_field = b.relevant_field
  GROUP BY b.relevant_field
  HAVING count(*) > 1) 

Підзапрос запускається для кожного рядка, оскільки це співвіднесений запит. Можна перетворити співвіднесений запит у некорельований запит, вибравши все з підзапиту, наприклад:

SELECT * FROM
(
    SELECT relevant_field
    FROM some_table
    GROUP BY relevant_field
    HAVING COUNT(*) > 1
) AS subquery

Остаточний запит виглядатиме так:

SELECT *
FROM some_table
WHERE relevant_field IN
(
    SELECT * FROM
    (
        SELECT relevant_field
        FROM some_table
        GROUP BY relevant_field
        HAVING COUNT(*) > 1
    ) AS subquery
)

Підзапроси проти приєднується

http://www.scribd.com/doc/2546837/New-Subquery-Optimizations-In-MySQL-6

SELECT st1.*
FROM some_table st1
inner join 
(
    SELECT relevant_field
    FROM some_table
    GROUP BY relevant_field
    HAVING COUNT(*) > 1
)st2 on st2.relevant_field = st1.relevant_field;

Я спробував ваш запит на одній із моїх баз даних, а також спробував його переписати як приєднання до підзапиту.

Це спрацювало набагато швидше, спробуйте!

Спробуйте це

SELECT t1.*
FROM 
 some_table t1,
  (SELECT relevant_field
  FROM some_table
  GROUP BY relevant_field
  HAVING COUNT (*) > 1) t2
WHERE
 t1.relevant_field = t2.relevant_field;

Я переформатував ваш повільний запит sql з www.prettysql.net

SELECT *
FROM some_table
WHERE
 relevant_field in
 (
  SELECT relevant_field
  FROM some_table
  GROUP BY relevant_field
  HAVING COUNT ( * ) > 1
 );

Використовуючи таблицю і в запиті, і в підзапиті, ви завжди повинні мати псевдонім обох, як це:

SELECT *
FROM some_table as t1
WHERE
 t1.relevant_field in
 (
  SELECT t2.relevant_field
  FROM some_table as t2
  GROUP BY t2.relevant_field
  HAVING COUNT ( t2.relevant_field ) > 1
 );

Чи допомагає це?

По-перше, ви можете знайти повторювані рядки і знайти кількість рядків, скільки разів використовується, і впорядкувати їх за таким числом;

SELECT q.id,q.name,q.password,q.NID,(select count(*) from UserInfo k where k.NID= q.NID) as Count,
(
		CASE q.NID
		WHEN @curCode THEN
			@curRow := @curRow + 1
		ELSE
			@curRow := 1
		AND @curCode := q.NID
		END
	) AS No
FROM UserInfo q,
(
		SELECT
			@curRow := 1,
			@curCode := ''
	) rt
WHERE q.NID IN
(
    SELECT NID
    FROM UserInfo
    GROUP BY NID
    HAVING COUNT(*) > 1
) 

після цього створіть таблицю і вставте в неї результат.

create table CopyTable 
SELECT q.id,q.name,q.password,q.NID,(select count(*) from UserInfo k where k.NID= q.NID) as Count,
(
		CASE q.NID
		WHEN @curCode THEN
			@curRow := @curRow + 1
		ELSE
			@curRow := 1
		AND @curCode := q.NID
		END
	) AS No
FROM UserInfo q,
(
		SELECT
			@curRow := 1,
			@curCode := ''
	) rt
WHERE q.NID IN
(
    SELECT NID
    FROM UserInfo
    GROUP BY NID
    HAVING COUNT(*) > 1
) 

Нарешті, видаліть дублікати рядків. Не починається 0. За винятком номера кулака кожної групи, видаліть усі повторювані рядки.

delete from  CopyTable where No!= 0;

Іноді, коли дані зростають, mysql WHERE IN може бути досить повільним через оптимізацію запитів. Спробуйте використовувати STRAIGHT_JOIN, щоб сказати mysql виконувати запит, як, наприклад,

SELECT STRAIGHT_JOIN table.field FROM table WHERE table.id IN (...)

але будьте обережні: у більшості випадків оптимізатор mysql працює досить добре, тому я рекомендую використовувати його лише тоді, коли у вас є такі проблеми

Це схоже на мій випадок, де у мене є таблиця з назвою tabel_buku_besar. Що мені потрібно

1. Шукаєте записи, які мають, account_code='101.100'у tabel_buku_besarяких є, companyarea='20000'а також є IDRякcurrency

2. Мені потрібно отримати весь запис, з tabel_buku_besarякого рахунок_код акаунта такий самий, як крок 1, але маю результат transaction_numberна кроці 1

під час використання select ... from...where....transaction_number in (select transaction_number from ....)мій запит працює надзвичайно повільно і іноді викликає час очікування запиту або змушує мою заявку не відповідати ...

Я пробую це поєднання і результат ... непогано ...

`select DATE_FORMAT(L.TANGGAL_INPUT,'%d-%m-%y') AS TANGGAL,
      L.TRANSACTION_NUMBER AS VOUCHER,
      L.ACCOUNT_CODE,
      C.DESCRIPTION,
      L.DEBET,
      L.KREDIT 
 from (select * from tabel_buku_besar A
                where A.COMPANYAREA='$COMPANYAREA'
                      AND A.CURRENCY='$Currency'
                      AND A.ACCOUNT_CODE!='$ACCOUNT'
                      AND (A.TANGGAL_INPUT BETWEEN STR_TO_DATE('$StartDate','%d/%m/%Y') AND STR_TO_DATE('$EndDate','%d/%m/%Y'))) L 
INNER JOIN (select * from tabel_buku_besar A
                     where A.COMPANYAREA='$COMPANYAREA'
                           AND A.CURRENCY='$Currency'
                           AND A.ACCOUNT_CODE='$ACCOUNT'
                           AND (A.TANGGAL_INPUT BETWEEN STR_TO_DATE('$StartDate','%d/%m/%Y') AND STR_TO_DATE('$EndDate','%d/%m/%Y'))) R ON R.TRANSACTION_NUMBER=L.TRANSACTION_NUMBER AND R.COMPANYAREA=L.COMPANYAREA 
LEFT OUTER JOIN master_account C ON C.ACCOUNT_CODE=L.ACCOUNT_CODE AND C.COMPANYAREA=L.COMPANYAREA 
ORDER BY L.TANGGAL_INPUT,L.TRANSACTION_NUMBER`

Я вважаю це найефективнішим для пошуку, якщо значення існує, логіку можна легко перевернути, щоб знайти, якщо значення не існує (тобто IS NULL);

SELECT * FROM primary_table st1
LEFT JOIN comparision_table st2 ON (st1.relevant_field = st2.relevant_field)
WHERE st2.primaryKey IS NOT NULL

* Замініть relevant_field на ім'я значення, яке ви хочете перевірити, існує у вашій таблиці

* Замініть PrimaryKey на ім'я стовпця первинного ключа в таблиці порівняння.