coreutils, які є абсолютно відомими?

Коли я використовував cutсьогодні, я з’ясував, що він не сприймає символ UTF-8 як персонаж, а 3 символи, тому що він має 3 байти.

Це, мабуть, справедливо для багатьох інструментів.

Чи існують версії того, coreutilsщо відомо UTF-8?

Мій localeвихід:

LANG=en_US.UTF-8
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=

Ось коли cutце не працює

echo 哈哈 | cut -c 2-
��哈

Правильний вихід повинен бути

哈

якщо cut -cпрацює з багатобайтовими символами.

Основні програми GNU взагалі розуміють UTF-8. Наприклад, echo 哈哈 | wc -mправильно виводить 3у локалі UTF-8 (зауважте, що параметр є -m, а не -cз історичних причин означає байти).

Це помилка cut. Дивлячись на джерелоcut , cutсимволи просто не реалізовані: -cпараметр трактується як синонім -b.

Вирішення проблеми полягає у використанні awk. GNU awk прекрасно справляється з UTF-8.

awk '{print substr($0,2,length)}'

Це схоже на помилку у вашій збірці / версії coreutils. Я можу відтворити це на Ubuntu 10.10 Maverick Meerkat, але не на Fedora 15.

[патчі @ holocene ~] $ cat / etc / fedora-реліз 
Випуск Fedora 15 (Lovelock)
[патчі @ holocene ~] $ rpm -q coreutils
coreutils-8.10-2.fc15.x86_64
[патчі @ holocene ~] $ echo 哈哈 | вирізати -c 2-
哈
[патчі @ holocene ~] $ sudo chroot / mnt / maverick
root @ holocene: / # grep DISTRIB_DESC / etc / lsb-release
DISTRIB_DESCRIPTION = "Ubuntu 10.10"
root @ голоцен: / # dpkg-query -s coreutils | grep версія
Версія: 8.5-1ubuntu3
root @ голоцен: / # відлуння 哈哈 | вирізати -c 2-
哈

Якщо ви також використовуєте Ubuntu, ви можете повідомити про помилку coreutilsпакетам Ubuntu, виконавши таку команду:

apport-bug coreutils

Оновлення: Жилль в коментарях вказує, що це помилка у версії за течією, coreutilsяку виправили Fedora. Ви можете знайти їх патч тут, якщо ви хочете спробувати зафіксувати його самостійно, щоб він працював.