Як я можу видалити BOM з файлу UTF-8?

У мене є файл кодування UTF-8 з BOM і хочу видалити BOM. Чи є інструменти командного рядка Linux для видалення BOM з файлу?

$ file test.xml
test.xml:  XML 1.0 document, UTF-8 Unicode (with BOM) text, with very long lines

Якщо ви не впевнені, чи файл містить BOM UTF-8, тоді це (якщо припустити реалізацію GNU sed) видалить BOM, якщо він існує, або не внесе жодних змін, якщо він не буде.

sed '1s/^\xEF\xBB\xBF//' < orig.txt > new.txt

Ви також можете перезаписати наявний файл за допомогою -iпараметра:

sed -i '1s/^\xEF\xBB\xBF//' orig.txt

BOM не має сенсу в UTF-8. Вони, як правило, додаються помилково зловмисним програмним забезпеченням на ОС Microsoft.

dos2unix видалить його, а також подбає про інші ідіосинкразії текстових файлів Windows.

dos2unix test.xml

Можна видалити BOM з файлу tailкомандою:

tail -c +4 withBOM.txt > withoutBOM.txt

Використання VIM

1. Відкрити файл у VIM:

   vi text.xml
   

2. Видалити кодування BOM:

   :set nobomb
   

3. Збережіть і вийдіть:

   :wq
   

Можна використовувати

LANG=C LC_ALL=C sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- filename

для видалення позначки порядку байтів з початку файлу, якщо він є, а також перетворення будь-яких нових рядків CR LF лише в LF. LANG=C LC_ALL=CКаже оболонці ви хочете запустити команду в локалі за замовчуванням C (також відомий як POSIX локаллю за замовчуванням), де три байта , що утворюють Byte Order Mark обробляється як кількість байтів. -iВаріант СЕД означає на місці. Якщо ви використовуєте -i.old, то sed зберігає вихідний файл як filename.old, а новий файл (з модифікаціями, якщо такі є) як filename.

Мені особисто подобається, щоб це було ~/bin/fix-ms; наприклад, як

#!/bin/dash
export LANG=C LC_ALL=C
if [ $# -gt 0 ]; then
    for FILE in "$@" ; do
        sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- "$FILE" || exit 1
    done
else
    exec sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//'
fi

так що якщо мені потрібно застосувати це, щоб сказати всі вихідні файли C та заголовки (наприклад, мій старий код з епохи MS-DOS!), я просто запускаю

find . -name '*.[CHch]' -print0 | xargs -r0 ~/bin/ms-fix

або, якщо я просто хочу переглянути такий файл, не змінюючи його, я можу запустити

~/bin/ms-fix < filename | less

і не бачити потворного <U+FEFF>в моєму терміналі UTF-8.

Нещодавно я знайшов цей крихітний інструмент командного рядка, який додає або видаляє BOM у довільних файлах, кодованих UTF-8: UTF BOM Utils ( нове посилання на github)

Невеликий недолік, ви можете завантажити лише звичайний вихідний код C ++. Ви повинні створити makefile (наприклад, із CMake ) та скласти його самостійно, бінарні файли на цій сторінці не надаються.