Запит на рядки, що не містять ASCII, з Postgres


14

Чи [:ascii:]взагалі працює клас у Postgres? Вони не вказані в їхній допомозі , проте я бачу приклади в Інтернеті, які використовують його.

У мене є база даних UTF-8, де є зіставлення та c_typ e en_US.UTF-8, а версія Postgres - 9.6.2. Коли я шукаю рядки, що не належать до ASCII, таким:

select title from wallabag_entry where title ~ '[^[:ascii:]]';

Я отримую як символи Unicode, так і не Unicode (повний висновок тут ):

Сталинская правозащитница: мать Меленкова бабушка Настя
Дневник НКВДиста Шабалина: Знает ли Москва положение на фронте?
Бег по городу и поездка на осле: как в средневековье наказывали прелюбодеев
Как комиссар Крекшин в 1740 чуть не отменил историю России
Have you heard of Saint Death? Dont pray to her.
Архаїчна українська мова: перевага чи недолік?
Гренада не их
Chinas marriage rate is plummeting because women are choosing autonomy over 

Що не так у цьому запиті?


1
Можливо, ви отримуєте вироки з нерозривними пробілами Unicode? (або будь-який інший персонаж, який ховається на
простоті

@joanolo, як це перевірити? Як бачити непростий вид?
Suncatcher

Ви можете використовувати a regexp_replace()для позначення знаків, що не належать до ASCII. Дивіться мою відповідь.
joanolo

1
Ви завжди повинні вставити точний результат у dba.se. Ми не можемо протестувати графіку на символи, що не належать ascii. ми можемо перевірити фактичний набір результатів. Це дитина-плакат, оскільки не повинна бути графікою
Еван Керролл

2
Просто додам два мої центи: хоча відповідь Джоаноло вражаюча, це не допомогло мені вирішити цю конкретну проблему. Окрім правильних цитат, у моєму наборі даних є купа інших заплутаних символів (однакових пробілів, ","), що унеможливлює використання [:ascii:]класу. Те, що мені справді допомогло в цій проблемі, - це концепція блоків unicode, про яку я дізнався з цього казкового регексу підручник .
Suncatcher

Відповіді:


25

Щоб відповісти на ваше запитання: [:ascii:]працює. У вашому тексті можуть бути символи, які ви не визнаєте як ASCII , але вони там є. Вони можуть бути чимось на зразок нерозривного простору , наприклад, або будь-якого іншого символу простору Unicode .

Не дивно, що в текстах, які ви копіюєте та вставляєте з веб-сторінки, немає нерозривних пробілів (  ), але ви не помічаєте, що вони там є.

Ось приклад для показу:

WITH t(t) AS
(
    VALUES 
      ( 'Сталинская правозащитница: мать Меленкова бабушка Настя' ),
      ( 'Дневник НКВДиста Шабалина: Знает ли Москва положение на фронте?' ),
      ( 'Бег по городу и поездка на осле: как в средневековье наказывали прелюбодеев' ),
      ( 'Как комиссар Крекшин в 1740-е чуть не отменил историю России' ),
      ( 'Have you heard of Saint Death? Don’t pray to her.' ),
      ( 'Архаїчна українська мова: перевага чи недолік?' ),
      ( 'Гренада не их' ),
      ( 'China’s marriage rate is plummeting because women are choosing autonomy over ' )

)
SELECT 
    t,  regexp_replace(t, '([^[:ascii:]])', '[\1]', 'g') AS t_marked
FROM 
    t 
WHERE 
    t ~ '[^[:ascii:]]' ;

Це те, що ви отримуєте:

                                       t                                       |                                                                                                 t_marked                                                                                                  
-------------------------------------------------------------------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Сталинская правозащитница: мать Меленкова бабушка Настя                       | [С][т][а][л][и][н][с][к][а][я] [п][р][а][в][о][з][а][щ][и][т][н][и][ц][а]: [м][а][т][ь] [М][е][л][е][н][к][о][в][а] [б][а][б][у][ш][к][а] [Н][а][с][т][я]
 Дневник НКВДиста Шабалина: Знает ли Москва положение на фронте?               | [Д][н][е][в][н][и][к] [Н][К][В][Д][и][с][т][а] [Ш][а][б][а][л][и][н][а]: [З][н][а][е][т] [л][и] [М][о][с][к][в][а] [п][о][л][о][ж][е][н][и][е] [н][а] [ф][р][о][н][т][е]?
 Бег по городу и поездка на осле: как в средневековье наказывали прелюбодеев   | [Б][е][г] [п][о] [г][о][р][о][д][у] [и] [п][о][е][з][д][к][а] [н][а] [о][с][л][е]: [к][а][к] [в] [с][р][е][д][н][е][в][е][к][о][в][ь][е] [н][а][к][а][з][ы][в][а][л][и] [п][р][е][л][ю][б][о][д][е][е][в]
 Как комиссар Крекшин в 1740 чуть не отменил историю России                  | [К][а][к] [к][о][м][и][с][с][а][р] [К][р][е][к][ш][и][н] [в] 1740-[е] [ч][у][т][ь] [н][е] [о][т][м][е][н][и][л] [и][с][т][о][р][и][ю] [Р][о][с][с][и][и]
 Have you heard of Saint Death? Dont pray to her.                             | Have you heard of Saint Death? Don[’]t pray to her.
 Архаїчна українська мова: перевага чи недолік?                                | [А][р][х][а][ї][ч][н][а] [у][к][р][а][ї][н][с][ь][к][а] [м][о][в][а]: [п][е][р][е][в][а][г][а] [ч][и] [н][е][д][о][л][і][к]?
 Гренада не их                                                                 | [Г][р][е][н][а][д][а] [н][е] [и][х]
 Chinas marriage rate is plummeting because women are choosing autonomy over  | China[’]s marriage rate is plummeting because women are choosing autonomy over 

З цього видно, що вашою проблемою є право-апострофський характер . ASCII підтримує лише апостроф. Лівий апостроф і правий апостроф є типографічно правильними розширеннями Unicode.

dbfiddle тут

Ви також можете перевірити це з попередніми версіями на веб-сайті http://rextester.com/UKIQ48014 (PostgreSQL 9.5) та http://sqlfiddle.com/#!15/4c563/1/0 (PostgreSQL 9.3)


Тексти, які, на вашу думку, ви вважаєте чистими ASCII, а не :

 WITH t(t) AS
 (
     VALUES 
       ('A fully ASCII text!'),
       ('Have you heard of Saint Death? Don’t pray to her.'),
       ('China’s marriage rate is plummeting because women are choosing autonomy over ')
 )
 SELECT 
    regexp_replace(t, '([^[:ascii:]])', '[\1]', 'g') AS t_marked
 FROM 
    t 
 WHERE 
    t ~ '[^[:ascii:]]' ;
| t_позначено |
 | : ------------------------------------------------- ----------------------------- |
 | Ви чули про святу смерть? Не моліться до неї. |
 | Швидкість шлюбу в Китаї ['] скорочується, оскільки жінки вибирають автономію щодо |
 

dbfiddle тут

Ці тексти використовують " замість ", щоб позначити апострофи.

Перевірте пунктуацію: Чому правильний єдиний цитат (U + 2019), а не семантично виразний апостроф (U + 0027), кращий символ апострофа в Unicode? ... побачити, що ти не перша людина, яка стикається з цією проблемою.


3
Це дійсно фантастична відповідь, тому що вона показує вам персонажів, які не мають права. Ось як я відповів би на це запитання.
Еван Керролл

1
Я оновив на прикладі ОП.
Еван Керролл

1
Дійсно фантастична та корисна відповідь! Спасибі.
Suncatcher
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.