Перетворити байти в рядок

Я використовую цей код, щоб отримати стандартний вихід із зовнішньої програми:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]

Метод communication () повертає масив байтів:

>>> command_stdout
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Однак я хотів би працювати з висновком як звичайний рядок Python. Щоб я міг роздрукувати його так:

>>> print(command_stdout)
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Я думав, що для цього використовується метод binascii.b2a_qp () , але коли я спробував це, я знову отримав той самий байтовий масив:

>>> binascii.b2a_qp(command_stdout)
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Як перетворити значення байтів назад у рядок? Я маю на увазі використання "батарей" замість того, щоб робити це вручну. І я хотів би, щоб це було добре з Python 3.

Вам потрібно розшифрувати об'єкт байтів, щоб створити рядок:

>>> b"abcde"
b'abcde'

# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8") 
'abcde'

Вам потрібно розшифрувати рядок байтів і перетворити його в символьний рядок (Unicode).

На Python 2

encoding = 'utf-8'
'hello'.decode(encoding)

або

unicode('hello', encoding)

На Python 3

encoding = 'utf-8'
b'hello'.decode(encoding)

або

str(b'hello', encoding)

Я думаю, що цей спосіб простий:

>>> bytes_data = [112, 52, 52]
>>> "".join(map(chr, bytes_data))
'p44'

Якщо ви не знаєте кодування, то для читання двійкового введення в рядок в сумісному способі Python 3 та Python 2 використовуйте старовинне кодування MS-DOS CP437 :

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('cp437'))

Оскільки кодування невідоме, очікуйте, що неанглійські символи переведуться на символи cp437(англійські символи не перекладаються, оскільки вони відповідають більшості однобайтових кодувань та UTF-8).

Розшифровка довільного бінарного вводу в UTF-8 небезпечна, тому що ви можете отримати таке:

>>> b'\x00\x01\xffsd'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 2: invalid
start byte

Це ж стосується latin-1, який був популярний (за замовчуванням?) Для Python 2. Дивіться пропущені моменти у макеті кодованої сторінки - саме там Python задихається з ганебним ordinal not in range.

ОНОВЛЕННЯ 20150604 : Ходять чутки, що Python 3 має surrogateescapeстратегію помилок щодо кодування матеріалів у двійкові дані без втрати даних та збоїв, але [binary] -> [str] -> [binary]для перевірки як продуктивності, так і для надійності потрібні тести перетворення .

ОНОВЛЕННЯ 20170116 : Завдяки коментарю Nearoo - також є можливість перерізати всі невідомі байти за допомогою backslashreplaceобробника помилок. Це працює лише для Python 3, тому навіть при цьому вирішенні ви все одно отримаєте невідповідний вихід з різних версій Python:

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('utf-8', 'backslashreplace'))

Докладніше див. У підтримці Unicode Python .

ОНОВЛЕННЯ 20170119 : Я вирішив застосувати декодируючу косу рису, яка працює як для Python 2, так і для Python 3. Це має бути повільніше, ніж cp437рішення, але воно повинно давати однакові результати для кожної версії Python.

# --- preparation

import codecs

def slashescape(err):
    """ codecs error handler. err is UnicodeDecode instance. return
    a tuple with a replacement for the unencodable part of the input
    and a position where encoding should continue"""
    #print err, dir(err), err.start, err.end, err.object[:err.start]
    thebyte = err.object[err.start:err.end]
    repl = u'\\x'+hex(ord(thebyte))[2:]
    return (repl, err.end)

codecs.register_error('slashescape', slashescape)

# --- processing

stream = [b'\x80abc']

lines = []
for line in stream:
    lines.append(line.decode('utf-8', 'slashescape'))

У Python 3 кодування за замовчуванням є "utf-8", так що ви можете безпосередньо використовувати:

b'hello'.decode()

що еквівалентно

b'hello'.decode(encoding="utf-8")

З іншого боку, в Python 2 кодування за замовчуванням до кодування рядка за замовчуванням. Таким чином, ви повинні використовувати:

b'hello'.decode(encoding)

де encodingви хочете кодування.

Примітка: підтримка аргументів ключових слів була додана в Python 2.7.

Я думаю, що ти насправді хочеш цього:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>> command_text = command_stdout.decode(encoding='windows-1252')

Відповідь Аарона була правильною, за винятком того, що вам потрібно знати, яке кодування використовувати. І я вважаю, що Windows використовує "windows-1252". Буде важливо лише, якщо у вашому вмісті є якісь незвичайні (не ASCII) символи, але тоді це змінить значення.

До речі, той факт, що це має значення, є причиною того, що Python перейшов до використання двох різних типів для двійкових і текстових даних: він не може магічно перетворити між ними, тому що не знає кодування, якщо ви цього не скажете! Єдиний спосіб, який ви ВАМ знаєте, - це прочитати документацію Windows (або прочитати її тут).

Встановіть Universal_newlines на True, тобто

command_stdout = Popen(['ls', '-l'], stdout=PIPE, universal_newlines=True).communicate()[0]

Хоча відповідь @Aaron Maenpaa просто працює, нещодавно користувач запитав :

Чи є простіший спосіб? 'fhand.read (). decode ("ASCII")' [...] Це так довго!

Ви можете використовувати:

command_stdout.decode()

decode()має стандартний аргумент :

codecs.decode(obj, encoding='utf-8', errors='strict')

Щоб інтерпретувати послідовність байтів як текст, ви повинні знати відповідне кодування символів:

unicode_text = bytestring.decode(character_encoding)

Приклад:

>>> b'\xc2\xb5'.decode('utf-8')
'µ'

lsкоманда може отримати результат, який не можна інтерпретувати як текст. Імена файлів на Unix можуть бути будь-якою послідовністю байтів, окрім косої риси b'/'та нуля b'\0':

>>> open(bytes(range(0x100)).translate(None, b'\0/'), 'w').close()

Спроба розшифрувати такий байт-суп за допомогою кодування utf-8 підвищує UnicodeDecodeError.

Це може бути і гірше. Розшифровка може вийти з ладу і створити mojibake, якщо ви використовуєте неправильне несумісне кодування:

>>> '—'.encode('utf-8').decode('cp1252')
'—'

Дані пошкоджені, але програма не знає, що сталася помилка.

Взагалі те, що кодування символів використовувати, не вбудовується в саму послідовність байтів. Ви повинні передавати цю інформацію поза межами діапазону. Деякі результати є більш імовірними, ніж інші, тому chardetіснує модуль, який може вгадати кодування символів. Один сценарій Python може використовувати різні кодування символів у різних місцях.

lsвихід може бути перетворений на рядок Python за допомогою os.fsdecode() функції, яка досягає успіху навіть для нерозбірливих імен файлів (він використовує sys.getfilesystemencoding()і surrogateescapeобробник помилок на Unix):

import os
import subprocess

output = os.fsdecode(subprocess.check_output('ls'))

Щоб отримати оригінальні байти, ви можете використовувати os.fsencode().

Якщо ви передаєте universal_newlines=Trueпараметр, який subprocessвикористовується locale.getpreferredencoding(False)для декодування байтів, наприклад, це може бути cp1252в Windows.

Для декодування потоку байтів на ходу, io.TextIOWrapper() може бути використаний: приклад .

Різні команди можуть використовувати різні кодування символів для їх виведення, наприклад, dirвнутрішня команда ( cmd) може використовувати cp437. Щоб розшифрувати його вихід, ви можете передати кодування чітко (Python 3.6+):

output = subprocess.check_output('dir', shell=True, encoding='cp437')

Імена файлів можуть відрізнятися від os.listdir()(для яких використовується Windows Unicode API), наприклад, '\xb6'можуть бути замінені '\x14'—Python's cp437 кодек-картами b'\x14'для управління символом U + 0014 замість U + 00B6 (¶). Щоб підтримати назви файлів з довільними символами Unicode, див. Висновок Decode PowerShell, можливо, що містить символи Unicode, що не містять ASCII, у рядок Python

Оскільки це питання на самому справі просять про subprocessвихід, у вас є більш прямий підхід , оскільки наявний Popenприймає кодування ключове слово (в Python 3.6 +):

>>> from subprocess import Popen, PIPE
>>> text = Popen(['ls', '-l'], stdout=PIPE, encoding='utf-8').communicate()[0]
>>> type(text)
str
>>> print(text)
total 0
-rw-r--r-- 1 wim badger 0 May 31 12:45 some_file.txt

Загальна відповідь для інших користувачів - це декодування байтів до тексту:

>>> b'abcde'.decode()
'abcde'

Без аргументу sys.getdefaultencoding()буде використано. Якщо ваших даних немає sys.getdefaultencoding(), то в decodeвиклику потрібно чітко вказати кодування :

>>> b'caf\xe9'.decode('cp1250')
'café'

Якщо вам потрібно зробити наступне, спробуйте decode():

AttributeError: об’єкт "str" ​​не має атрибута "декодування"

Ви також можете вказати тип кодування прямо в складі:

>>> my_byte_str
b'Hello World'

>>> str(my_byte_str, 'utf-8')
'Hello World'

Під час роботи з даними із систем Windows (із \r\nзакінченнями рядків) моя відповідь така

String = Bytes.decode("utf-8").replace("\r\n", "\n")

Чому? Спробуйте це з багаторядковим Input.txt:

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8")
open("Output.txt", "w").write(String)

Усі ваші закінчення рядків будуть подвоєні (до \r\r\n), що призведе до зайвих порожніх рядків. Функції читання тексту Python зазвичай нормалізують закінчення рядків так, що використовуються лише рядки \n. Якщо ви отримуєте двійкові дані з системи Windows, Python не має шансів це зробити. Таким чином,

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8").replace("\r\n", "\n")
open("Output.txt", "w").write(String)

буде копіювати ваш оригінальний файл.

Я зробив функцію очищення списку

def cleanLists(self, lista):
    lista = [x.strip() for x in lista]
    lista = [x.replace('\n', '') for x in lista]
    lista = [x.replace('\b', '') for x in lista]
    lista = [x.encode('utf8') for x in lista]
    lista = [x.decode('utf8') for x in lista]

    return lista

Для Python 3, це набагато безпечніше і Pythonic підхід для перетворення byteв string:

def byte_to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes): # Check if it's in bytes
        print(bytes_or_str.decode('utf-8'))
    else:
        print("Object not of byte type")

byte_to_str(b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n')

Вихід:

total 0
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Від sys - Специфічні для системи параметри та функції :

Для запису чи читання двійкових даних із / до стандартних потоків використовуйте базовий двійковий буфер. Наприклад, для написання байтів у stdout використовуйте sys.stdout.buffer.write(b'abc').

def toString(string):    
    try:
        return v.decode("utf-8")
    except ValueError:
        return string

b = b'97.080.500'
s = '97.080.500'
print(toString(b))
print(toString(s))

У вашому конкретному випадку "запустіть команду оболонки та отримайте її вихід у вигляді тексту замість байтів", на Python 3.7 слід використовувати subprocess.runта переходити text=True(а також capture_output=Trueдля отримання виводу)

command_result = subprocess.run(["ls", "-l"], capture_output=True, text=True)
command_result.stdout  # is a `str` containing your program's stdout

textколись називались universal_newlinesі був змінений (ну, псевдонім) у Python 3.7. Якщо ви хочете підтримувати версії Python до 3.7, перейдіть universal_newlines=Trueзамістьtext=True

Якщо ви хочете перетворити будь-які байти, а не лише рядки, перетворені в байти:

with open("bytesfile", "rb") as infile:
    str = base64.b85encode(imageFile.read())

with open("bytesfile", "rb") as infile:
    str2 = json.dumps(list(infile.read()))

Однак це не дуже ефективно. Це перетворить зображення в 2 Мб в 9 Мб.

спробуйте це

bytes.fromhex('c3a9').decode('utf-8')