Як перетворити кінець рядка Windows у кінець рядка Unix (CR / LF в LF)

Я розробник Java і використовую Ubuntu для розробки. Проект був створений в Windows за допомогою Eclipse і використовує кодування Windows-1252 .

Для перетворення на UTF-8 я використав програму перекодування :

find Web -iname \*.java | xargs recode CP1252...UTF-8

Ця команда видає цю помилку:

recode: Web/src/br/cits/projeto/geral/presentation/GravacaoMessageHelper.java failed: Ambiguous output in step `CR-LF..data

Я шукав про це і отримую рішення в Bash і Windows, Перекодуй: Неоднозначний вихід у кроці `data..CR-LF ', і там сказано:

Перетворити закінчення рядків з CR / LF в один LF: Відредагуйте файл за допомогою Vim, дайте команду :set ff=unixта збережіть файл. Перекодування зараз має виконуватися без помилок.

Приємно, але у мене багато файлів, з яких слід видалити символ CR / LF, і я не можу відкрити кожен, щоб зробити це. Vi не надає жодної опції командного рядка для операцій Bash.

Чи можна для цього використовувати sed? Як?

Повинна існувати програма з назвою, dos2unixяка зафіксує для вас закінчення рядків. Якщо його ще немає у вашому вікні Linux, він повинен бути доступний через менеджер пакетів.

sed не може збігатися з \ n, оскільки кінцевий новий рядок видаляється до того, як рядок буде поміщений у простір шаблону, але може збігатися з \ r, тому ви можете перетворити \ r \ n (dos) в \ n (unix), видаливши \ r

sed -i 's/\r//g' file

Попередження: це змінить оригінальний файл

Однак цим ви не можете перейти з unix EOL на dos або старий mac (\ r). Більше читань тут:

Як я можу замінити новий рядок (\ n) за допомогою sed?

Насправді, vim дозволяє те, що ви шукаєте. Введіть vim і введіть такі команди:

:args **/*.java
:argdo set ff=unix | update | next

Перша з цих команд **/*.javaрекурсивно встановлює список аргументів для кожного відповідного файлу , що є всіма файлами Java. Друга з цих команд по черзі робить наступне для кожного файлу у списку аргументів:

• Встановлює закінчення рядків у стилі Unix (ви це вже знаєте)
• Записує файл, якщо його було змінено
• Переходить до наступного файлу

Команда tr також може зробити це:

tr -d '\15\32' < winfile.txt > unixfile.txt

і має бути доступним для вас.

Вам потрібно буде запустити tr всередині сценарію, оскільки він не може працювати з іменами файлів. Наприклад, створити файл myscript.sh:

#!/bin/bash

for f in `find -iname \*.java`; do
    echo "$f"
    tr -d '\15\32' < "$f" > "$f.tr"
    mv "$f.tr" "$f"
    recode CP1252...UTF-8 "$f"
done

Біг myscript.sh буде обробляти всі файли Java у поточному каталозі та його підкаталогах.

Я візьму невеликий виняток із відповіді Джичао. Насправді можна досить легко зробити все, про що він говорив. Замість того, щоб шукати \n, просто шукайте повернення каретки в кінці рядка.

sed -i 's/\r$//' "${FILE_NAME}"

Щоб перейти з unix назад на dos, просто знайдіть останній символ у рядку та додайте до нього фід форми. (Додам, -rщоб полегшити це за допомогою регулярних виразів grep.)

sed -ri 's/(.)$/\1\r/' "${FILE_NAME}"

Теоретично файл можна змінити на стиль mac, додавши код до останнього прикладу, який також додає наступний рядок вводу до першого рядка, поки всі рядки не будуть оброблені. Однак я не буду намагатися наводити цей приклад тут.

Попередження: -i змінює фактичний файл. Якщо ви хочете зробити резервну копію, додайте рядок символів після -i. Це перемістить наявний файл до файлу з тим самим іменем із додаванням символів до кінця.

Для того, щоб подолати

Ambiguous output in step `CR-LF..data'

просто рішення може бути додати -fпрапор для примусового перетворення.

Ви пробували знайдений тут сценарій пітона Брайана Мопіна ? (Я трохи змінив його, щоб бути більш загальним)

#!/usr/bin/env python

import sys

input_file_name = sys.argv[1]
output_file_name = sys.argv[2]

input_file = open(input_file_name)
output_file = open(output_file_name, 'w')

line_number = 0

for input_line in input_file:
    line_number += 1
    try:  # first try to decode it using cp1252 (Windows, Western Europe)
        output_line = input_line.decode('cp1252').encode('utf8')
    except UnicodeDecodeError, error:  # if there's an error
        sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error))  # write to stderr
        try:  # then if that fails, try to decode using latin1 (ISO 8859-1)         
            output_line = input_line.decode('latin1').encode('utf8')
        except UnicodeDecodeError, error:  # if there's an error
            sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error))  # write to stderr
            sys.exit(1)  # and just keep going
    output_file.write(output_line)

input_file.close()
output_file.close()

Ви можете використовувати цей сценарій з

$ ./cp1252_utf8.py file_cp1252.sql file_utf8.sql

Поверніться до Windows, скажіть Eclipse змінити кодування на UTF-8, потім поверніться до Unix і запустіть d2uфайли.