Обробляти послідовності втечі в рядку в Python

Іноді, коли я отримую вхід з файлу або користувача, я отримую рядок із послідовностями втечі. Я хотів би обробити послідовності евакуації так само, як Python обробляє послідовності втечі в рядкових літералах .

Наприклад, скажімо myString, визначається як:

>>> myString = "spam\\neggs"
>>> print(myString)
spam\neggs

Я хочу функцію (я назву її process), яка робить це:

>>> print(process(myString))
spam
eggs

Важливо, що функція може обробляти всі послідовності втілення в Python (перераховані в таблиці за посиланням вище).

Чи має Python функцію для цього?

Правильна річ - використовувати код 'string-escape' для декодування рядка.

>>> myString = "spam\\neggs"
>>> decoded_string = bytes(myString, "utf-8").decode("unicode_escape") # python3 
>>> decoded_string = myString.decode('string_escape') # python2
>>> print(decoded_string)
spam
eggs

Не використовуйте AST або eval. Використання струнних кодеків набагато безпечніше.

unicode_escape не працює взагалі

Виявляється, що string_escapeабо unicode_escapeрішення не працює взагалі - особливо, воно не працює за наявності фактичного Unicode.

Якщо ви можете бути впевнені, що будь -який символ , який не є ASCII, буде уникнути (і пам’ятайте, що все, що перебуває за межами перших 128 символів, не є ASCII), unicode_escapeзробить правильно для вас. Але якщо в рядку вже є будь-які буквальні символи, що не належать до ASCII, все піде не так.

unicode_escapeпринципово розроблений для перетворення байтів у текст Unicode. Але в багатьох місцях - наприклад, вихідний код Python - вихідні дані - це вже текст Unicode.

Єдиний спосіб, як це може працювати правильно, це, якщо спочатку кодувати текст у байтах. UTF-8 - це розумне кодування для всього тексту, так що це має працювати, правда?

Наступні приклади наведені в Python 3, так що літеральні рядки є більш чистими, але однакова проблема існує і з дещо різними проявами як на Python 2, так і на 3.

>>> s = 'naïve \\t test'
>>> print(s.encode('utf-8').decode('unicode_escape'))
naïve   test

Ну, це неправильно.

Новий рекомендований спосіб використання кодеків, які розшифровують текст у текст, - це codecs.decodeпрямий дзвінок . Чи допомагає це?

>>> import codecs
>>> print(codecs.decode(s, 'unicode_escape'))
naïve   test

Зовсім ні. (Крім того, вище є UnicodeError на Python 2.)

unicode_escapeКодек, незважаючи на свою назву, виявляється, припустити , що все не-ASCII байти в кодуванні Latin-1 (ISO-8859-1). Тож вам доведеться зробити це так:

>>> print(s.encode('latin-1').decode('unicode_escape'))
naïve    test

Але це жахливо. Це обмежує вас 256 символами Latin-1, як ніби Unicode взагалі ніколи не був винайдений!

>>> print('Ernő \\t Rubik'.encode('latin-1').decode('unicode_escape'))
UnicodeEncodeError: 'latin-1' codec can't encode character '\u0151'
in position 3: ordinal not in range(256)

Додавання регулярного виразу для вирішення проблеми

(Дивно, але зараз у нас немає двох проблем.)

Що нам потрібно зробити, це застосувати unicode_escapeдекодер лише до тих речей, які, напевно, є текстом ASCII. Зокрема, ми можемо переконатися, що застосуємо його лише до дійсних послідовностей втечі Python, які гарантовано є текстом ASCII.

План полягає в тому, що ми знайдемо послідовності втечі, використовуючи регулярний вираз, і будемо використовувати функцію в якості аргументу, re.subщоб замінити їх на значення, яке не визначається.

import re
import codecs

ESCAPE_SEQUENCE_RE = re.compile(r'''
    ( \\U........      # 8-digit hex escapes
    | \\u....          # 4-digit hex escapes
    | \\x..            # 2-digit hex escapes
    | \\[0-7]{1,3}     # Octal escapes
    | \\N\{[^}]+\}     # Unicode characters by name
    | \\[\\'"abfnrtv]  # Single-character escapes
    )''', re.UNICODE | re.VERBOSE)

def decode_escapes(s):
    def decode_match(match):
        return codecs.decode(match.group(0), 'unicode-escape')

    return ESCAPE_SEQUENCE_RE.sub(decode_match, s)

І з цим:

>>> print(decode_escapes('Ernő \\t Rubik'))
Ernő     Rubik

Насправді правильна та зручна відповідь для python 3:

>>> import codecs
>>> myString = "spam\\neggs"
>>> print(codecs.escape_decode(bytes(myString, "utf-8"))[0].decode("utf-8"))
spam
eggs
>>> myString = "naïve \\t test"
>>> print(codecs.escape_decode(bytes(myString, "utf-8"))[0].decode("utf-8"))
naïve    test

Деталі щодо codecs.escape_decode:

• codecs.escape_decode є байт-байтовим декодером
• codecs.escape_decodeдекодує послідовності виходу ascii, такі як: b"\\n"-> b"\n", b"\\xce"-> b"\xce".
• codecs.escape_decode не цікаво або не потрібно знати про кодування байтового об'єкта, але кодування відскочених байтів має відповідати кодуванню решти об'єкта.

Фон:

• @rspeer правильний: unicode_escapeце неправильне рішення для python3. Це пояснюється тим, що unicode_escapeдекодеції виходять з байтів, потім розшифровують байти в unicode рядок, але не отримує ніякої інформації щодо того, який кодек використовувати для другої операції.
• @Jerub правильний: уникай AST або eval.
• Я вперше виявив codecs.escape_decodeз цієї відповіді "як мені .decode ('string-escape') в Python3?" . Як зазначено у цій відповіді, ця функція наразі не зафіксована для python 3.

ast.literal_evalФункція наближається, але він буде очікувати , що рядок , яка цитуватиметься першим.

Звичайно, інтерпретація Python зворотної косої риси залежить від того, як котирується рядок ( ""проти r""або u""потрійних лапок тощо), тож ви можете захопити ввести користувальницькі дані у відповідні лапки та перейти до literal_eval. Обертання його в лапки також не дасть literal_evalповернути число, кортеж, словник тощо.

Все ще може стати складним, якщо користувач набере котирування без котирування типу, який ви збираєтесь обернути навколо рядка.

Це поганий спосіб зробити це, але він спрацював для мене, коли я намагався інтерпретувати уникнулі восьмерики, передані в рядковому аргументі.

input_string = eval('b"' + sys.argv[1] + '"')

Варто зазначити, що існує різниця між eval та ast.literal_eval (eval є набагато небезпечнішим). Див. Розділ Використання python's eval () vs. ast.literal_eval ()?

Нижче код повинен працювати, \ n обов'язково відображатиметься в рядку.

import string

our_str = 'The String is \\n, \\n and \\n!'
new_str = string.replace(our_str, '/\\n', '/\n', 1)
print(new_str)