Я реалізував сценарій bash нижче, він працює для мене.
Спочатку він намагається зробити iconvз кодування, поверненого file --mime-encodingдо utf-8.
Якщо це не вдається, він проходить через усі кодування та показує різницю між оригінальним та перекодованим файлом. Він пропускає кодування, які дають великий диференціальний вихід ("великий", як визначено MAX_DIFF_LINESзмінною або другим вхідним аргументом), оскільки це, швидше за все, неправильне кодування.
Якщо "погані речі" трапляються в результаті використання цього сценарію, не звинувачуйте мене. Там rm -fє, тому є монстри. Я намагався запобігти несприятливим ефектам, використовуючи їх у файлах із випадковим суфіксом, але я не обіцяю.
Тестовано на Дарвіні 15.6.0.
#!/bin/bash
if [[ $# -lt 1 ]]
then
echo "ERROR: need one input argument: file of which the enconding is to be detected."
exit 3
fi
if [ ! -e "$1" ]
then
echo "ERROR: cannot find file '$1'"
exit 3
fi
if [[ $# -ge 2 ]]
then
MAX_DIFF_LINES=$2
else
MAX_DIFF_LINES=10
fi
#try the easy way
ENCOD=$(file --mime-encoding $1 | awk '{print $2}')
#check if this enconding is valid
iconv -f $ENCOD -t utf-8 $1 &> /dev/null
if [ $? -eq 0 ]
then
echo $ENCOD
exit 0
fi
#hard way, need the user to visually check the difference between the original and re-encoded files
for i in $(iconv -l | awk '{print $1}')
do
SINK=$1.$i.$RANDOM
iconv -f $i -t utf-8 $1 2> /dev/null > $SINK
if [ $? -eq 0 ]
then
DIFF=$(diff $1 $SINK)
if [ ! -z "$DIFF" ] && [ $(echo "$DIFF" | wc -l) -le $MAX_DIFF_LINES ]
then
echo "===== $i ====="
echo "$DIFF"
echo "Does that make sense [N/y]"
read $ANSWER
if [ "$ANSWER" == "y" ] || [ "$ANSWER" == "Y" ]
then
echo $i
exit 0
fi
fi
fi
#clean up re-encoded file
rm -f $SINK
done
echo "None of the encondings worked. You're stuck."
exit 3