Як видалити символи, що не містять UTF-8, із текстового файлу

У мене є купа арабських, англійських, російських файлів, кодованих в utf-8. Намагаючись обробити ці файли за допомогою сценарію Perl, я отримую таку помилку:

Malformed UTF-8 character (fatal)

Перевіряючи вміст цих файлів вручну, я виявив у них дивних символів. Зараз я шукаю спосіб автоматичного видалення цих символів із файлів.

Чи можна це зробити?

Ця команда:

iconv -f utf-8 -t utf-8 -c file.txt

очистить ваш файл UTF-8, пропускаючи всі недійсні символи.

-f is the source format
-t the target format
-c skips any invalid sequence

Ваш метод повинен читати байт за байтом і повністю розуміти та оцінювати байтову мудру конструкцію символів. Найпростіший метод - це використання редактора, який буде читати що завгодно, але лише виводити символи UTF-8. Текстова панель - один із варіантів.

cat foo.txt | strings -n 8 > bar.txt

зробить роботу.