Як я можу виявити кодування / кодову сторінку текстового файлу

У нашому додатку ми отримуємо текстові файли ( .txt, .csvі т.д.) з різних джерел. Під час читання ці файли іноді містять сміття, оскільки файли там, де створені в іншій / невідомій кодовій сторінці.

Чи є спосіб (автоматично) виявити кодову сторінку текстового файлу?

detectEncodingFromByteOrderMarks, На StreamReaderконструкторі, працює UTF8 і інші Юнікод зазначених файлів, але я шукав спосіб виявлення кодових сторінок, як ibm850, windows1252.

Дякую за відповіді, це я і зробив.

Файли, які ми отримуємо, - від кінцевих користувачів, вони не мають поняття про кодові сторінки. Одержувачі також є кінцевими споживачами, на сьогоднішній день це те, що вони знають про кодові сторінки: кодекси існують і дратують.

Рішення:

• Відкрийте отриманий файл у Блокноті, подивіться на пошарпаний фрагмент тексту. Якщо когось називають Франсуа або щось подібне, з вашим людським інтелектом ви можете це здогадатися.
• Я створив невеликий додаток, з яким користувач може відкрити файл, і ввести текст, який користувач знає, що він з’явиться у файлі, коли буде використана правильна сторінка коду.
• Перегляньте всі кодові сторінки та виведіть ті, що дають рішення із наданим користувачем текстом.
• Якщо з'являється більше, ніж одна сторінка коду, попросіть користувача вказати більше тексту.

Ви не можете виявити кодову сторінку, вам це потрібно повідомити. Ви можете проаналізувати байти і здогадатися, але це може дати певні химерні (іноді кумедні) результати. Зараз я не можу його знайти, але я впевнений, що Блокнот може бути надуманий показувати англійський текст китайською мовою.

У будь-якому випадку, це те, що вам потрібно прочитати: Абсолютний мінімум кожного розробника програмного забезпечення абсолютно, позитивно повинен знати про набори Unicode та символів (без виправдань!) .

Конкретно Джоел говорить:

Єдиний найважливіший факт про кодування

Якщо ви повністю забудете все, що я щойно пояснив, запам’ятайте один надзвичайно важливий факт. Немає сенсу мати рядок, не знаючи, яке кодування воно використовує. Ви більше не можете засунути голову в пісок і зробити вигляд, що "звичайний" текст - це ASCII. Немає такої речі, як звичайний текст.

Якщо у вас є рядок, пам'ять, файл або повідомлення електронної пошти, ви повинні знати, що таке кодування, або ви не можете його інтерпретувати або відображати користувачам правильно.

Якщо ви хочете виявити кодування, що не належать до UTF (тобто немає BOM), ви в основному переходите до евристики та статистичного аналізу тексту. Можливо, ви захочете поглянути на документ Mozilla про універсальне виявлення шаблонів (те саме посилання, з кращим форматуванням через Wayback Machine ).

Ви спробували порт C # для універсального детектора шарсет Mozilla

Приклад з http://code.google.com/p/ude/

public static void Main(String[] args)
{
    string filename = args[0];
    using (FileStream fs = File.OpenRead(filename)) {
        Ude.CharsetDetector cdet = new Ude.CharsetDetector();
        cdet.Feed(fs);
        cdet.DataEnd();
        if (cdet.Charset != null) {
            Console.WriteLine("Charset: {0}, confidence: {1}", 
                 cdet.Charset, cdet.Confidence);
        } else {
            Console.WriteLine("Detection failed.");
        }
    }
}    

Ви не можете виявити кодову сторінку

Це явно помилково. Кожен веб-браузер має якийсь універсальний детектор шаблонів для роботи зі сторінками, які не мають жодної ознаки кодування. У Firefox є один. Ви можете завантажити код і подивитися, як він це робить. Дивіться деяку документацію тут . В основному це евристика, але така, яка працює дуже добре.

Враховуючи розумну кількість тексту, можна навіть виявити мову.

Ось ще один я знайшов за допомогою Google:

Я знаю, що це питання дуже пізно, і це рішення не сподобається деяким (через його зміст, орієнтований на англійську мову та відсутність статистичного / емпіричного тестування), але для мене це дуже добре працює, особливо для обробки завантажених даних CSV:

http://www.architectshack.com/TextFileEncodingDetector.ashx

Переваги:

• Вбудований BOM-виявлення
• Кодування за замовчуванням / резервне кодування, що настроюється
• досить надійний (на мій досвід) файли на основі західноєвропейських європейських країн, що містять деякі екзотичні дані (наприклад, французькі назви) із сумішшю файлів у стилі UTF-8 та латинських 1 - в основному основна частина середовищ США та Західної Європи.

Примітка: я написав цей клас, тому явно візьміть його із зерном солі! :)

Notepad ++ має цю функцію нестандартно. Він також підтримує його зміну.

Шукаючи іншого рішення, я знайшов це

https://code.google.com/p/ude/

це рішення якось важке.

Мені знадобилося базове виявлення кодування на основі 4-х перших байтів і, ймовірно, виявлення набору шаблонів xml - тому я взяв з Інтернету деякий зразок вихідного коду та додав трохи змінену версію

http://lists.w3.org/Archives/Public/www-validator/2002Aug/0084.html

написаний для Java.

    public static Encoding DetectEncoding(byte[] fileContent)
    {
        if (fileContent == null)
            throw new ArgumentNullException();

        if (fileContent.Length < 2)
            return Encoding.ASCII;      // Default fallback

        if (fileContent[0] == 0xff
            && fileContent[1] == 0xfe
            && (fileContent.Length < 4
                || fileContent[2] != 0
                || fileContent[3] != 0
                )
            )
            return Encoding.Unicode;

        if (fileContent[0] == 0xfe
            && fileContent[1] == 0xff
            )
            return Encoding.BigEndianUnicode;

        if (fileContent.Length < 3)
            return null;

        if (fileContent[0] == 0xef && fileContent[1] == 0xbb && fileContent[2] == 0xbf)
            return Encoding.UTF8;

        if (fileContent[0] == 0x2b && fileContent[1] == 0x2f && fileContent[2] == 0x76)
            return Encoding.UTF7;

        if (fileContent.Length < 4)
            return null;

        if (fileContent[0] == 0xff && fileContent[1] == 0xfe && fileContent[2] == 0 && fileContent[3] == 0)
            return Encoding.UTF32;

        if (fileContent[0] == 0 && fileContent[1] == 0 && fileContent[2] == 0xfe && fileContent[3] == 0xff)
            return Encoding.GetEncoding(12001);

        String probe;
        int len = fileContent.Length;

        if( fileContent.Length >= 128 ) len = 128;
        probe = Encoding.ASCII.GetString(fileContent, 0, len);

        MatchCollection mc = Regex.Matches(probe, "^<\\?xml[^<>]*encoding[ \\t\\n\\r]?=[\\t\\n\\r]?['\"]([A-Za-z]([A-Za-z0-9._]|-)*)", RegexOptions.Singleline);
        // Add '[0].Groups[1].Value' to the end to test regex

        if( mc.Count == 1 && mc[0].Groups.Count >= 2 )
        {
            // Typically picks up 'UTF-8' string
            Encoding enc = null;

            try {
                enc = Encoding.GetEncoding( mc[0].Groups[1].Value );
            }catch (Exception ) { }

            if( enc != null )
                return enc;
        }

        return Encoding.ASCII;      // Default fallback
    }

Досить прочитати, мабуть, перші 1024 байти з файлу, але я завантажую цілий файл.

Якщо хтось шукає 93,9% рішення. Це працює для мене:

public static class StreamExtension
{
    /// <summary>
    /// Convert the content to a string.
    /// </summary>
    /// <param name="stream">The stream.</param>
    /// <returns></returns>
    public static string ReadAsString(this Stream stream)
    {
        var startPosition = stream.Position;
        try
        {
            // 1. Check for a BOM
            // 2. or try with UTF-8. The most (86.3%) used encoding. Visit: http://w3techs.com/technologies/overview/character_encoding/all/
            var streamReader = new StreamReader(stream, new UTF8Encoding(encoderShouldEmitUTF8Identifier: false, throwOnInvalidBytes: true), detectEncodingFromByteOrderMarks: true);
            return streamReader.ReadToEnd();
        }
        catch (DecoderFallbackException ex)
        {
            stream.Position = startPosition;

            // 3. The second most (6.7%) used encoding is ISO-8859-1. So use Windows-1252 (0.9%, also know as ANSI), which is a superset of ISO-8859-1.
            var streamReader = new StreamReader(stream, Encoding.GetEncoding(1252));
            return streamReader.ReadToEnd();
        }
    }
}

Я щось подібне зробив у Python. В основному, вам потрібно безліч зразкових даних з різних кодувань, які розбиваються на розсувне двобайтне вікно і зберігаються в словнику (хеш), введеному на байтові пари, що надають значення списків кодувань.

Враховуючи цей словник (хеш), ви берете свій вхідний текст і:

• якщо він починається з будь-якого символу BOM ('\ xfe \ xff' для UTF-16-BE, '\ xff \ xfe' для UTF-16-LE, '\ xef \ xbb \ xbf' для UTF-8 тощо), я ставитися до цього, як пропонується
• якщо ні, то візьміть досить великий зразок тексту, візьміть усі байт-пари зразка та виберіть кодування, яке є найменш запропонованим із словника.

Якщо ви також відібрали тексти, закодовані UTF, які не починаються з жодної BOM, другий крок охоплює ті, що прослизнули з першого кроку.

Поки що це працює для мене (вибіркові дані та наступні вхідні дані є субтитрами на різних мовах) зі зменшенням рівня помилок.

Інструмент "учардет" робить це добре, використовуючи моделі розподілу частоти символів для кожного шаблону. Більш великі та "типові" файли мають більшу впевненість (очевидно).

У ubuntu ви просто apt-get install uchardet.

В інших системах знайдіть джерело, використання та документи тут: https://github.com/BYVoid/uchardet

Конструктор класу StreamReader приймає параметр «виявити кодування».

Якщо ви можете зв’язатись із бібліотекою С, ви можете використовувати libenca. Дивіться http://cihar.com/software/enca/ . Із чоловічої сторінки:

Enca читає задані текстові файли або стандартне введення, коли жодне не дано, і використовує знання про їхню мову (повинні бути підтримані вами) та суміш розбору, статистичного аналізу, здогадів та чорної магії для визначення їх кодування.

Це GPL v2.

Отримала таку ж проблему, але поки не знайшла хорошого рішення для автоматичного її виявлення. Зараз я використовую для цього PsPad (www.pspad.com);) Відмінно працює

Оскільки це в основному зводиться до евристики, це може допомогти використовувати кодування раніше отриманих файлів з того самого джерела як перший підказку.

Більшість людей (або додатків) роблять речі в майже однаковому порядку кожен раз, часто на одній машині, тому цілком ймовірно, що коли Боб створює .csv файл і надсилає його Марії, він завжди буде використовувати Windows-1252 або незалежно від його машини.

Де можливо, трохи навчання клієнтів ніколи не шкодить :-)

Я насправді шукав загальний, а не програмний спосіб виявлення кодування файлів, але цього ще не знайшов. Що я знайшов, тестуючи різні кодування, це те, що мій текст був UTF-7.

Тож де я вперше робив: файл StreamReader = File.OpenText (повне ім’я);

Мені довелося змінити його на: StreamReader file = new StreamReader (повне ім'я файлу, System.Text.Encoding.UTF7);

OpenText передбачає, що це UTF-8.

Ви також можете створити StreamReader, як цей новий StreamReader (повне ім'я файлу, правда), другий параметр означає, що він повинен спробувати виявити кодування з байтардного позначення файлу, але це не спрацювало в моєму випадку.

Відкрийте файл в AkelPad (або просто скопіюйте / вставте зібраний текст), перейдіть до меню Правка -> Виділення -> Перекодувати ... -> встановіть прапорець "Автоматично виявити".

Як доповнення до публікації ITmeze, я використовував цю функцію для перетворення виходу C # порту для Mozilla Universal Charset Detector

    private Encoding GetEncodingFromString(string codePageName)
    {
        try
        {
            return Encoding.GetEncoding(codePageName);
        }
        catch
        {
            return Encoding.ASCII;
        }
    }

MSDN

Дякуємо @ Еріку Аронесті за згадування uchardet.

Тим часом (той самий?) Інструмент існує для linux : chardet.
Або, на Cygwin ви можете використовувати: chardetect.

Дивіться: сторінка chardet man: https://www.commandlinux.com/man-page/man1/chardetect.1.html

Це дозволить евристично виявити (відгадати) кодування символів для кожного файлу та повідомить ім’я та рівень довіри для кодованого символу кожного виявленого файлу.

Я використовую цей код для виявлення кодової сторінки ансі за замовчуванням Unicode та Windows під час читання файлу. Для інших кодувань потрібно перевірити вміст вручну або за допомогою програмування. Це можна використовувати для збереження тексту з тим же кодуванням, що і при його відкритті. (Я використовую VB.NET)

'Works for Default and unicode (auto detect)
Dim mystreamreader As New StreamReader(LocalFileName, Encoding.Default) 
MyEditTextBox.Text = mystreamreader.ReadToEnd()
Debug.Print(mystreamreader.CurrentEncoding.CodePage) 'Autodetected encoding
mystreamreader.Close()

10Y (!) Минуло відтоді, як це було запропоновано, і досі я не бачу жодної згадки про хороше, не GPL'ed рішення MS : API IMultiLanguage2 .

Більшість уже згаданих бібліотек базуються на UDE Mozilla - і здається, що браузери вже вирішили подібні проблеми. Я не знаю, що таке рішення хрому, але оскільки IE 5.0 MS випустив своє, і це:

1. Без ліцензійних проблем GPL та подібних,
2. Підтримується та підтримується, ймовірно, назавжди,
3. Дає багатий вихід - всі дійсні кандидати для кодування / кодових сторінок разом із оцінками достовірності,
4. Дивно просто у використанні (це один дзвінок функції).

Це рідний COM-дзвінок, але ось дещо дуже приємна робота Карстена Зюмера, яка обробляє безлад інтеропу для використання .net. Навколо є деякі інші, але за великим рахунком ця бібліотека не отримує тієї уваги, якої вона заслуговує.