Як знайти кодування файлу за допомогою скрипту в Linux?

Мені потрібно знайти кодування всіх файлів, які розміщені в каталозі. Чи є спосіб знайти кодування?

fileКоманда не в змозі зробити це.

Кодування, яке мене цікавить: ISO-8859-1. Якщо кодування є чимось іншим, я хочу перенести файл в інший каталог.

Здається, ви шукаєте enca. Він може здогадуватися і навіть конвертувати між кодуванням. Просто подивіться на сторінку чоловіка .

Або, якщо цього не зробити, використовуйте file -i(linux) або file -I(osx). Це буде виводити інформацію типу MIME для файлу, яка також буде включати кодування набору символів. Я знайшов іменну сторінку для цього теж :)

file -bi <file name>

Якщо ви хочете зробити це для купки файлів

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

учардеть - Бібліотека детекторів кодування, перенесена з Mozilla.

Використання:

~> uchardet file.java 
UTF-8

Різні дистрибутиви Linux (Debian / Ubuntu, OpenSuse-packman, ...) надають бінарні файли.

ось приклад сценарію з використанням файлу -I та iconv, який працює на MacOsX. Для вашого питання вам потрібно використовувати mv замість iconv

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

Справді важко визначити, чи це iso-8859-1. Якщо у вас є текст із лише 7-бітовими символами, який також може бути iso-8859-1, але ви цього не знаєте. Якщо у вас є 8-бітові символи, знаки верхньої області також існують у порядку кодування. Для цього вам доведеться скористатися словником, щоб краще здогадатися, яке це слово, і звідти визначити, якою буквою воно повинно бути. Нарешті, якщо ви виявите, що це може бути utf-8, ніж ви впевнені, що це не iso-8859-1

Кодування - одна з найскладніших речей, оскільки ти ніколи не знаєш, чи нічого тобі не підказує

У Debian ви також можете використовувати encguess:

$ encguess test.txt
test.txt  US-ASCII

Для перетворення кодування з 8859 в ASCII:

iconv -f ISO_8859-1 -t ASCII filename.txt

За допомогою Python ви можете використовувати модуль chardet: https://github.com/chardet/chardet

Це не те, що можна зробити безглуздо. Однією з можливостей було б вивчити кожен символ у файлі, щоб переконатися, що він не містить символів у діапазонах 0x00 - 0x1fабо0x7f -0x9f , але, як я вже сказав, це може бути вірно для будь-якої кількості файлів, в тому числі , щонайменше , одного іншого варіанту ISO8859.

Інша можливість полягає у пошуку конкретних слів у файлі на всіх підтримуваних мовах та перевірте, чи можете ви їх знайти.

Так, наприклад, знайдіть еквівалент англійських "і", "але", "до", "з" і так далі в усіх підтримуваних мовах 8859-1 і перевірте, чи є в них велика кількість зустрічань в межах файл.

Я не говорю про буквальний переклад, наприклад:

English   French
-------   ------
of        de, du
and       et
the       le, la, les

хоча це можливо. Я говорю про загальні слова цільовою мовою (наскільки я знаю, в ісландській мові немає слова "і" - ви, мабуть, повинні використовувати їх слово для "риби" [вибачте, це трохи стереотипно, я не означають будь-яке правопорушення, просто ілюструючи точку]).

Я знаю, що вас цікавить більш загальна відповідь, але те, що добре в ASCII, як правило, добре в інших кодуваннях. Ось одноклапник Python, щоб визначити, чи є стандартним входом ASCII. (Я впевнений, що це працює в Python 2, але я протестував це лише на Python 3.)

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

Якщо ви говорите про XML-файли (ISO-8859-1), декларація XML всередині них вказує кодування: <?xml version="1.0" encoding="ISO-8859-1" ?>
Отже, ви можете використовувати регулярні вирази (наприклад, з perl), щоб перевірити кожен файл на таку специфікацію.
Додаткову інформацію можна знайти тут: Як визначити кодування текстових файлів .

У php ви можете перевірити як нижче:

Вказання списку кодування явно:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Більш точні "mb_list_encodings":

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Тут у першому прикладі ви бачите, що я помістив список кодувань (порядок виявлення списку), які можуть відповідати. Для отримання більш точного результату ви можете використовувати всі можливі кодування через: mb_list_encodings ()

Примітка. Функції mb_ * вимагають php-mbstring

apt-get install php-mbstring

У Cygwin це виглядає так, як це працює для мене:

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

Приклад:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

Ви можете передати цю проблему і створити команду iconv, щоб перетворити все в utf8, з будь-якого джерельного кодування, що підтримується iconv.

Приклад:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

Ви можете витягнути кодування одного файлу за допомогою команди file. У мене є sample.html файл із:

$ file sample.html 

sample.html: HTML-документ, UTF-8 Unicode-текст, з дуже довгими рядками

$ file -b sample.html

HTML-документ, текст UTF-8 Unicode, з дуже довгими рядками

$ file -bi sample.html

текст / html; charset = utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf-8

Я використовую наступний сценарій для

1. Знайдіть усі файли, які відповідають FILTER та SRC_ENCODING
2. Створіть резервну копію з них
3. Перетворити їх у DST_ENCODING
4. (необов’язково) Видаліть резервні копії

.

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

з цією командою:

for f in `find .`; do echo `file -i "$f"`; done

Ви можете перелічити всі файли в каталозі та підкаталогах та відповідне кодування.

За допомогою Perl використовуйте Encode :: Detect.