Проблема кодування Java FileReader

Я намагався використовувати java.io.FileReader для читання деяких текстових файлів і перетворення їх у рядок, але я виявив, що результат неправильно закодований і зовсім не читабельний.

Ось моє середовище:

• Windows 2003, кодування ОС: CP1252

• Java 5.0

Мої файли мають закодований UTF-8 або CP1252, а деякі з них (файли, кодовані UTF-8) можуть містити китайські (не латинські) символи.

Я використовую наступний код для своєї роботи:

   private static String readFileAsString(String filePath)
    throws java.io.IOException{
        StringBuffer fileData = new StringBuffer(1000);
        FileReader reader = new FileReader(filePath);
        //System.out.println(reader.getEncoding());
        BufferedReader reader = new BufferedReader(reader);
        char[] buf = new char[1024];
        int numRead=0;
        while((numRead=reader.read(buf)) != -1){
            String readData = String.valueOf(buf, 0, numRead);
            fileData.append(readData);
            buf = new char[1024];
        }
        reader.close();
        return fileData.toString();
    }

Наведений вище код не працює. Я знайшов, що кодування FileReader є CP1252, навіть якщо текст закодований UTF-8. Але JavaDoc програми java.io.FileReader говорить, що:

Конструктори цього класу припускають, що кодування символів за замовчуванням та розмір байта-буфера за замовчуванням є відповідними.

Чи означає це, що мені не потрібно встановлювати кодування символів самостійно, якщо я використовую FileReader? Але я в даний час отримав неправильно закодовані дані, що є правильним способом поводження з моєю ситуацією? Дякую.

Так, вам потрібно вказати кодування файлу, який ви хочете прочитати.

Так, це означає, що ви повинні знати кодування файлу, який ви хочете прочитати.

Ні, немає загального способу відгадати кодування будь-якого файлу "звичайний текст".

Конструктори з одним аргументомFileReader завжди використовують кодування платформи за замовчуванням, що, як правило, погана ідея .

Оскільки Java 11 FileReaderтакож отримала конструктори, які приймають кодування: new FileReader(file, charset)і new FileReader(fileName, charset).

У попередніх версіях Java потрібно використовувати .new InputStreamReader(new FileInputStream(pathToFile), <encoding>)

FileReader використовує кодування за замовчуванням платформи Java, яка залежить від системних налаштувань комп'ютера, на якому вона працює, і, як правило, є найпопулярнішим кодуванням серед користувачів у цій місцевості.

Якщо ця "найкраща здогадка" не вірна, тоді вам потрібно чітко вказати кодування. На жаль, FileReaderце не дозволяє (великий нагляд в API). Натомість ви повинні використовувати new InputStreamReader(new FileInputStream(filePath), encoding)та в ідеалі отримати кодування з метаданих про файл.

З Java 11 ви можете використовувати це:

public FileReader(String fileName, Charset charset) throws IOException;

Для Java 7+ doc ви можете використовувати це:

BufferedReader reader = Files.newBufferedReader(path, StandardCharsets.UTF_8);

Ось усі Charsets doc

Наприклад, якщо ваш файл знаходиться в CP1252, використовуйте цей метод

Charset.forName("windows-1252");

Ось інші канонічні назви кодування Java як для IO, так і для NIO doc

Якщо ви не знаєте , з точно кодує у вас є в файл, ви можете використовувати деякий сторонній LIBS як цей інструмент від Google це , який працює досить акуратно.

FileInputStream з InputStreamReader краще, ніж безпосередньо використовувати FileReader, оскільки останній не дозволяє вказати кодування кодування.

Ось приклад використання разом BufferedReader, FileInputStream та InputStreamReader, щоб ви могли прочитати рядки з файлу.

List<String> words = new ArrayList<>();
List<String> meanings = new ArrayList<>();
public void readAll( ) throws IOException{
    String fileName = "College_Grade4.txt";
    String charset = "UTF-8";
    BufferedReader reader = new BufferedReader(
        new InputStreamReader(
            new FileInputStream(fileName), charset)); 

    String line; 
    while ((line = reader.readLine()) != null) { 
        line = line.trim();
        if( line.length() == 0 ) continue;
        int idx = line.indexOf("\t");
        words.add( line.substring(0, idx ));
        meanings.add( line.substring(idx+1));
    } 
    reader.close();
}

Для іншої латинської мови, наприклад, кирилиці, ви можете використовувати щось подібне:

FileReader fr = new FileReader("src/text.txt", StandardCharsets.UTF_8);

і переконайтеся, що ваш .txtфайл збережено у форматі UTF-8(але не як за замовчуванням ANSI). Ура!