Який найшвидший, найпростіший інструмент або спосіб перетворення текстових файлів між наборами символів?

Зокрема, мені потрібно перетворити з UTF-8 на ISO-8859-15 і навпаки.

Все йде: однолінійки улюбленої мови сценаріїв, інструменти командного рядка або інші утиліти для ОС, веб-сайтів тощо.

Найкращі рішення поки що:

У Linux / UNIX / OS X / cygwin:

• Gnu iconv, запропонований Троелями, Арвін найкраще використовувати як фільтр . Це, здається, є загальнодоступним. Приклад:

  $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt
  

  Як зазначив Бен , існує онлайн-конвертер, що використовує iconv .

• Gnu recode ( посібник ), запропонований Cheekysoft , перетворить один або кілька файлів на місці . Приклад:

  $ recode UTF8..ISO-8859-15 in.txt
  

  У цьому використовується коротший псевдонім:

  $ recode utf8..l9 in.txt
  

  Recode також підтримує поверхні, які можна використовувати для перетворення між різними типами закінчення рядків і кодуваннями:

  Перетворити нові рядки з LF (Unix) в CR-LF (DOS):

  $ recode ../CR-LF in.txt
  

  Файл кодування Base64:

  $ recode ../Base64 in.txt
  

  Ви також можете їх комбінувати.

  Перетворення файлу UTF8, закодованого Base64, із закінченнями рядка Unix, у закодований Base64 файл латинської 1 із закінченнями рядка Dos:

  $ recode utf8/Base64..l1/CR-LF/Base64 file.txt
  

У Windows з Powershell ( Jay Bazuzi ):

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

  (Немає підтримки ISO-8859-15; він говорить про те, що підтримувані діаграми є unicode, utf7, utf8, utf32, ascii, bigendianunicode, за замовчуванням та oem.)

Редагувати

Ви маєте на увазі підтримку iso-8859-1? Використання "String" робить це, наприклад, навпаки

gc -en string in.txt | Out-File -en utf8 out.txt

Примітка. Можливі значення перерахування - "Невідомо, Рядок, Unicode, Байт, BigEndianUnicode, UTF8, UTF7, Ascii".

• CsCvt - Kalytta's Character Converter - це ще один чудовий інструмент перетворення на основі командного рядка.

Автономний корисний підхід

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

Не потрібно вказувати жоден із цих аргументів. Вони за замовчуванням будуть відповідати вашому поточному місцеположенню, як правило, це UTF-8.

Спробуйте VIM

Якщо у вас є, vimви можете скористатися цим:

Не перевіряється для кожного кодування.

Класна частина цього в тому, що вам не потрібно знати кодування джерела

vim +"set nobomb | set fenc=utf8 | x" filename.txt

Майте на увазі, що ця команда змінює файл безпосередньо

Пояснення частина!

1. +: Використовується vim для прямого введення команди під час відкриття файлу. Зазвичай використовується для відкриття файлу в певному рядку:vim +14 file.txt
2. |: Роздільник декількох команд (як ;у bash)
3. set nobomb : немає utf-8 BOM
4. set fenc=utf8: Встановіть нове кодування на utf-8 doc-посилання
5. x : Збереження та закриття файлу
6. filename.txt : шлях до файлу
7. ": цитати тут через труби. (інакше bash використовуватиме їх як bash pipe)

У Linux ви можете використовувати дуже потужну команду recode для перетворення між різними діаграмами, а також будь-якими проблемами, що закінчуються рядками. recode -l покаже вам усі формати та кодування, в які інструмент може конвертувати між собою. Ймовірно, це ДУЖЕ довгий список.

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

Також є інструменти на основі іконів на багатьох мовах.

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

Найкоротша версія, якщо ви можете припустити, що вхідний BOM правильний:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

Спробуйте функцію iconv Bash

Я вклав це .bashrc:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

..можна конвертувати такі файли:

utf8 MyClass.java

Спробуйте Notepad ++

У Windows я зміг використовувати Notepad ++ для перетворення з ISO-8859-1 на UTF-8 . Клацніть, "Encoding"а потім "Convert to UTF-8".

Oneliner, що використовує find, з автоматичним виявленням набору символів

Кодування символів усіх відповідних текстових файлів виявляється автоматично, і всі відповідні текстові файли перетворюються на utf-8кодування:

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

Для виконання цих кроків, на південь від оболонки shвикористовуються з -exec, працює один вкладиш з -cпрапором, і передаючи ім'я файлу в якості позиційного аргументу "$1"з -- {}. Між тим utf-8вихідний файл тимчасово названий converted.

При цьому file -biозначає:

• -b, --brief Не додайте назви файлів до вихідних рядків (короткий режим).

• -i, --mime Викликає команду файлу виводити рядки типу mime, а не більш традиційні для людини. Таким чином, це може сказати, наприклад text/plain; charset=us-ascii, ніж ASCII text. У sedпорізах команди це до тільки , us-asciiяк потрібно iconv.

findКоманда дуже корисна для такої автоматизації управління файлами. Клацніть тут, щоб отримати більше findбагатства .

PHP iconv ()

iconv("UTF-8", "ISO-8859-15", $input);

DOS / Windows: використання сторінки коду

chcp 65001>NUL
type ascii.txt > unicode.txt

Команду chcpможна використовувати для зміни сторінки коду. Сторінка коду 65001 - це ім'я Microsoft для UTF-8. Після встановлення кодової сторінки, вихід, створений за допомогою наступних команд, буде набір сторінок коду.

для запису файлу властивостей (Java) зазвичай я використовую це в Linux (дистрибутиви на монетній основі та ubuntu):

$ native2ascii filename.properties

Наприклад:

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

PS: Я написав Виконання номер один / два в Португалії, щоб примусити спеціальних символів.

У моєму випадку під час першого виконання я отримав це повідомлення:

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

Коли я встановив перший варіант (gcj-5-jdk), проблема була закінчена.

Я сподіваюся, що це комусь допоможе.

З рубіном:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

Джерело: https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

Використовуйте цей скрипт Python: https://github.com/goerz/convert_encoding.py Працює на будь-якій платформі. Потрібен Python 2.7.

Мій улюблений інструмент для цього - Jedit (текстовий редактор на базі Java), який має дві дуже зручні функції:

• Такий, який дозволяє користувачеві перезавантажити текст з іншим кодуванням (і, як такий, візуально контролювати результат)
• Інший, який дозволяє користувачеві чітко вибрати кодування (та кінець рядка) перед збереженням

Просто змініть кодування завантаженого файлу в IntelliJ IDEA IDE, праворуч від рядка стану (внизу), де вказано поточну схему. Це вимагає перезавантажити або перетворити, використовувати перетворити. Переконайтеся, що ви створили резервну копію оригінального файлу заздалегідь.

Якщо програми GUI для macOS - це ваш хліб і масло, SubEthaEdit є текстовим редактором, до якого я зазвичай заходжу для кодування-хитання - його "перегляд конверсій" дозволяє вам бачити всі недійсні символи у вихідному кодуванні та виправляти / видаляти їх.

І зараз це відкритий код , так що для них 😉.

Як описано в розділі Як виправити кодування символів файлу? Синалізуйте це! дозволяє легко конвертувати на OS X між усіма кодуваннями, що підтримуються бібліотекою ICU .

Крім того, ви можете відобразити кілька байтів файлу, перекладеного на Unicode, з усіх кодувань, щоб швидко побачити, який є правильним для вашого файлу.