Елегантний спосіб пошуку файлів UTF-8 за допомогою BOM?

Для налагодження мені потрібно рекурсивно шукати в каталозі всі файли, які починаються з позначки порядку байтів UTF-8 (BOM). Моє поточне рішення - простий скрипт оболонки:

find -type f |
while read file
do
    if [ "`head -c 3 -- "$file"`" == $'\xef\xbb\xbf' ]
    then
        echo "found BOM in: $file"
    fi
done

Або, якщо ви віддаєте перевагу коротким нечитабельним одношаровим:

find -type f|while read file;do [ "`head -c3 -- "$file"`" == $'\xef\xbb\xbf' ] && echo "found BOM in: $file";done

Він не працює з назви файлів, які містять розрив рядка, але таких файлів у будь-якому разі не варто очікувати.

Чи є якесь коротше або елегантніше рішення?

Чи є якісь текстові редактори чи макроси для текстових редакторів?

А що з цією простою командою, яка не просто знаходить, але очищає противну BOM? :)

find . -type f -exec sed '1s/^\xEF\xBB\xBF//' -i {} \;

Я люблю "знаходити" :)

Попередження Вищезгадане змінює бінарні файли, які містять ці три символи.

Якщо ви хочете просто показати файли специфікації, використовуйте цей:

grep -rl $'\xEF\xBB\xBF' .

Найкращий і найпростіший спосіб зробити це в Windows:

Total Commander → перейти до кореневого редактора проекту → знайти файли ( Alt+ F7) → типи файлів *. * → Знайти текст «EF BB BF» → встановити прапорець «Hex» → пошук

І ви отримуєте список :)

find . -type f -print0 | xargs -0r awk '
    /^\xEF\xBB\xBF/ {print FILENAME}
    {nextfile}'

Більшість запропонованих вище рішень тестують більше, ніж перший рядок файлу, навіть якщо деякі (наприклад, рішення Маркуса) потім фільтрують результати. Це рішення перевіряє лише перший рядок кожного файлу, тому воно має бути дещо швидшим.

Якщо ви приймаєте помилкові позитиви (якщо в текстових файлах є нетекстові файли або, мабуть, у середині файлу є ZWNBSP), ви можете використовувати grep:

fgrep -rl `echo -ne '\xef\xbb\xbf'` .

Я б використав щось на зразок:

grep -orHbm1 "^`echo -ne '\xef\xbb\xbf'`" . | sed '/:0:/!d;s/:0:.*//'

Що гарантуватиме, що специфікація відбувається з першого байта файлу.

Ви можете використовувати, grepщоб знайти їх і Perl, щоб видалити їх так:

grep -rl $'\xEF\xBB\xBF' . | xargs perl -i -pe 's{\xEF\xBB\xBF}{}'

Для користувача Windows дивіться це (хороший скрипт PHP для пошуку BOMу вашому проекті).

Рішенням надмірного рівня для цього є phptags(не viінструмент з однойменною назвою), який спеціально шукає PHP-скрипти:

phptags --warn ./

Виведе щось на зразок:

./invalid.php: TRAILING whitespace ("?>\n")
./invalid.php: UTF-8 BOM alone ("\xEF\xBB\xBF")

І --whitespaceрежим автоматично виправить такі проблеми (рекурсивно, але стверджує, що він переписує лише .php-скрипти.)

find -type f -print0 | xargs -0 grep -l `printf '^\xef\xbb\xbf'` | sed 's/^/found BOM in: /'

• find -print0 ставить null \ 0 між кожним іменем файлу замість використання нових рядків
• xargs -0 очікує, що нульові аргументи замість розділених рядків
• grep -l перераховує файли, які відповідають регексу
• ^\xeff\xbb\xbfЗвичайний вираз не зовсім правильний, оскільки він буде відповідати файлам UTF-8 без BOMed, якщо вони мають пробіли нульової ширини на початку рядка

Я використав це для виправлення лише файлів JavaScript:

find . -iname *.js -type f -exec sed 's/^\xEF\xBB\xBF//' -i.bak {} \; -exec rm {}.bak \;

Якщо ви шукаєте файли UTF, команда file працює. Це покаже вам, що таке кодування файлу. Якщо в ньому є якісь символи, що не належать до ASCII, він створить UTF.

file *.php | grep UTF

Це не буде працювати рекурсивно, хоча. Можливо, ви можете підробити якусь химерну команду, щоб зробити її рекурсивною, але я просто шукав кожен рівень окремо, як показано нижче, поки не закінчився рівень.

file */*.php | grep UTF