Куди пішов мій рядок `uniq` або` sort -u`, з деякими символами unicode

Що відбувається в наступному фрагменті коду? Я не отримую очікуваного результату.

Я думаю, що це помилка, але це трапляється для двох різних програм (uniq і сортування), тому я підозрюю, що це щось стосується ... ну, я не знаю, що .. звідси питання.

Перші 3 (із 4) прикладів працюють, але 4-й не вдається !.

Я б очікував однакової поведінки для всіх персонажів.
тобто. роздрукувати 2 рядки (з 3 рядків введення) ... але в 4-му випадку я отримую лише 1 рядок (і для обох, sort -uі для uniq); обидва однакові кришки просто зникають!

Я перетворив висновок '\ n' у простір для компактності перегляду.

Я використовую uniq і сортую з (GNU coreutils) 7.4 ..., що працює на робочому столі Ubuntu 10.04.3 LTS.

Сценарій:

{
  locale -k LC_COLLATE
  echo
  for c1 in x 〼 ;do 
    for c2 in z 〇 ;do 
      echo -n "asis   : "; echo -e "$c1\n$c2\n$c2"          |tr '\n' ' ';echo
      echo -n "uniq   : "; echo -e "$c1\n$c2\n$c2" |uniq    |tr '\n' ' ';echo
      echo -n "sort -u: "; echo -e "$c1\n$c2\n$c2" |sort -u |tr '\n' ' ';echo
      echo
    done
    echo
  done
}

Вихід:

collate-nrules=4
collate-rulesets=""
collate-symb-hash-sizemb=2081
collate-codeset="UTF-8"

asis   : x z z 
uniq   : x z 
sort -u: x z 

asis   : x 〇 〇 
uniq   : x 〇 
sort -u: 〇 x 


asis   : 〼 z z 
uniq   : 〼 z 
sort -u: 〼 z 

asis   : 〼 〇 〇 
uniq   : 〼 
sort -u: 〼 

# In the last example (of 4) where did the '〇' go? .. U+3007 IDEOGRAPHIC NUMBER ZERO
#

Коротка версія: порівняння насправді не працює в утилітах командного рядка.

Більш дрібна версія: основна функція для порівняння двох рядків є strcoll. Опис не дуже корисний, але концептуальним методом операції є перетворення обох рядків у канонічну форму, а потім порівняння двох канонічних форм. Функція strxfrmбудує цю канонічну форму.

Давайте спостерігатимемо канонічні форми декількох рядків (з GNU libc, під стисканням Debian):

$ export LC_ALL=en_US.UTF-8
$ perl -C255 -MPOSIX -le 'print "$_ ", unpack("h*", strxfrm($_)) foreach @ARGV' b a A à 〼 〇
b d010801020
a c010801020
A c010801090
à 101010102c6b
〼 101010102c6b102c6b102c6b
〇 101010102c6b102c6b102c6b

Як бачимо, 〼 і 〇 мають однакову канонічну форму. Я думаю, що це тому, що ці символи не згадуються в таблицях зіставлення в en_US.UTF-8локалі. Однак вони присутні в японській місцевості.

$ export LC_ALL=ja_JP.UTF-8
$ perl -C255 -MPOSIX -le 'print "$_ ", unpack("h*", strxfrm($_)) foreach @ARGV' 〼 〇 
〼 303030
〇 3c9b

Вихідний код для даних локалів (в стислі Debian), в /usr/share/i18n/locales/en_USякий входить /usr/share/i18n/locales/iso14651_t1_common. У цьому файлі немає запису для, U3007або U303Cвони не включаються в будь-який діапазон, який я можу знайти.

Я не знайомий з правилами побудови порядку порівняння , але з того, що я розумію, є відповідне словосполучення

Символ НЕ ВИЗНАЧЕНИЙ тлумачиться таким, що включає всі кодовані значення набору символів, не визначені явно або через символ еліпсису. (…) Якщо не визначено НЕ визначений символ, а поточний кодований набір символів містить символи, не зазначені в цьому розділі, утиліта видає попереджувальне повідомлення та розміщує такі символи в кінці порядку порівняння символів.

Схоже, Glibc замість цього ігнорує символи, які не вказані. Я не знаю, чи є недолік у моєму розумінні специфікації POSIX, якщо я пропустив щось у визначенні локальної точки Glibc, чи є помилка у компіляторі локалізації Glibc.

Щоб "безпечно" sortрядки Unicode, можливо, подивіться на msort:

[...] Msort забезпечує більшу гнучкість у виборі ключових полів, більше типів порівняння, можливість використання правил зіставлення з різних локалів на різних клавішах, можливість обробки чисел у незахідних системах числення та безліч інших варіантів, яких не вистачає у сортуванні GNU та BSD. Тоді як msort розуміє Unicode, GNU сортування та BSD сортування не роблять. [...]

http://www.billposer.org/Software/msort.html