Як я можу знайти символи, що не належать до ASCII, у MySQL?

Я працюю з базою даних MySQL, яка містить деякі дані, імпортовані з Excel . Дані містять символи, що не належать до ASCII (em-тире та ін.), А також приховані повернення каретки або канали рядків. Чи є спосіб знайти ці записи за допомогою MySQL?

Це саме залежить від того, що ви визначаєте як "ASCII", але я б запропонував спробувати такий варіант запиту, як цей:

SELECT * FROM tableName WHERE columnToCheck NOT REGEXP '[A-Za-z0-9]';

Цей запит поверне всі рядки, у яких columnToCheck містить будь-які не буквено-цифрові символи. Якщо у вас є інші прийнятні символи, додайте їх до класу символів у регулярному виразі. Наприклад, якщо періоди, коми і дефіси в порядку, змініть запит на:

SELECT * FROM tableName WHERE columnToCheck NOT REGEXP '[A-Za-z0-9.,-]';

Мабуть, найбільш відповідна сторінка документації на MySQL - це, ймовірно, 12.5.2 регулярні вирази .

MySQL забезпечує всебічне управління набором символів, що може допомогти у вирішенні подібних проблем.

SELECT whatever
  FROM tableName 
 WHERE columnToCheck <> CONVERT(columnToCheck USING ASCII)

CONVERT(col USING charset)Функція перетворює unconvertable символів в заміні символів. Тоді перетворений і неперетворений текст буде нерівним.

Дивіться це для більш детальної дискусії. https://dev.mysql.com/doc/refman/8.0/en/charset-repertoire.html

Ви можете використовувати будь-яке ім'я набору символів замість ASCII. Наприклад, якщо ви хочете дізнатися, які символи неправильно відображатимуться на кодовій сторінці 1257 (литовська, латвійська, естонська), використовуйтеCONVERT(columnToCheck USING cp1257)

Ви можете визначити ASCII як усі символи, які мають десяткове значення 0 - 127 (0x00 - 0x7F) і знайти стовпці з символами, що не належать до ASCII, за допомогою наступного запиту

SELECT * FROM TABLE WHERE NOT HEX(COLUMN) REGEXP '^([0-7][0-9A-F])*$';

Це був найповніший запит, який я міг придумати.

Це, мабуть, те, що ви шукаєте:

select * from TABLE where COLUMN regexp '[^ -~]';

Він повинен повертати всі рядки, де COLUMN містить символи, що не належать до ASCII (або символи ASCII, які не можна роздрукувати, такі як новий рядок).

Один з відсутніх символів у наведених вище прикладах - це символ завершення (\ 0). Це невидимо для результатів консолі MySQL і не виявляється жодним із вищезазначених запитів. Запит його знайти просто:

select * from TABLE where COLUMN like '%\0%';

Виходячи з правильної відповіді, але враховуючи також ASCII контрольні символи, рішення, яке працювало для мене, таке:

SELECT * FROM `table` WHERE NOT `field` REGEXP  "[\\x00-\\xFF]|^$";

Це те ж саме: шукає порушення діапазону ASCII у стовпці, але дозволяє також шукати контрольні символи, оскільки він використовує шістнадцяткову позначення для кодових точок. Оскільки немає порівняння чи перетворення (на відміну від відповіді @ Оллі), це теж повинно бути значно швидшим. (Особливо, якщо MySQL виконує дострокове припинення запиту регулярних виразів, чого він, безумовно, повинен.)

Це також дозволяє уникнути повернення полів нульової довжини. Якщо ви хочете трохи довшу версію, яка може працювати краще, ви можете використовувати її замість цього:

SELECT * FROM `table` WHERE `field` <> "" AND NOT `field` REGEXP  "[\\x00-\\xFF]";

Він робить окрему перевірку довжини, щоб уникнути нульових результатів, не враховуючи їх для проходження регулярного виразів. Залежно від кількості записів нульової довжини це може бути значно швидше.

Зауважте, що якщо ваш набір символів за замовчуванням є чимось химерним, коли 0x00-0xFF не відображає ті самі значення, що й ASCII (чи є такий набір символів десь?), Це поверне помилковий позитив. Інакше насолоджуйтесь!

Спробуйте використовувати цей запит для пошуку спеціальних записів символів

SELECT *
FROM tableName
WHERE fieldName REGEXP '[^a-zA-Z0-9@:. \'\-`,\&]'

Відповідь @ zende була єдиною, яка висвітлювала стовпці з поєднанням символів ascii та non ascii, але вона також мала цю проблематичну шестигранну річ. Я використав це:

SELECT * FROM `table` WHERE NOT `column` REGEXP '^[ -~]+$' AND `column` !=''

У Oracle ми можемо використовувати нижче.

SELECT * FROM TABLE_A WHERE ASCIISTR(COLUMN_A) <> COLUMN_A;

для цього питання ми також можемо використовувати цей метод:

Питання від sql зоопарку:
Знайдіть усі деталі призу, який виграв PETER GRÜNBERG

Не символи ASCII

ans: виберіть * від nobel, де переможець на зразок'P% GR% _% berg ';