Чим відрізняється кодування / декодування?

Я ніколи не був впевнений, що розумію різницю між декодуванням str / unicode і кодуванням.

Я знаю, що str().decode()це стосується того, що у вас є рядок байтів, який, на вашу думку, має певне кодування символів, враховуючи це ім'я кодування, воно поверне рядок unicode.

Я знаю, що unicode().encode()перетворює символи unicode в рядок байтів відповідно до заданого імені кодування.

Але я не розумію, для чого str().encode()і unicode().decode()для чого. Хтось може пояснити, а можливо, і виправити щось інше, що я помилився вище?

Редагувати:

Кілька відповідей дають інформацію про те, що .encodeробиться в рядку, але, здається, ніхто не знає, що .decodeробить для unicode.

decodeМетод Юникода рядків дійсно не має яких - або додатків на всіх (якщо у вас є якісь - то чи не-текстові дані в юнікод рядок для якої - то причини - див . Нижче) Я думаю, що це переважно з історичних причин. У Python 3 його повністю немає.

unicode().decode()виконає неявне кодування з sвикористанням кодека за замовчуванням (ascii). Перевірте це так:

>>> s = u'ö'
>>> s.decode()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xf6' in position 0:
ordinal not in range(128)

>>> s.encode('ascii')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xf6' in position 0:
ordinal not in range(128)

Повідомлення про помилки точно такі ж.

Для str().encode()це навпаки - вона намагається неявне декодування в sз кодуванням за замовчуванням:

>>> s = 'ö'
>>> s.decode('utf-8')
u'\xf6'
>>> s.encode()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0:
ordinal not in range(128)

Використовується так, str().encode()теж зайве.

Але є ще одне застосування останнього методу, який є корисним: є кодування , які не мають нічого спільного з наборами символів, і таким чином можуть бути застосовані до 8-бітових рядків змістовно:

>>> s.encode('zip')
'x\x9c;\xbc\r\x00\x02>\x01z'

Ти прав, але маєш рацію: неоднозначне використання "кодування" для обох цих додатків ... неприємно. Знову ж таки, з окремими byteі stringтипами в Python 3 це вже не проблема.

Для представлення рядка unicode як рядка байтів відомо як кодування . Використовуйте u'...'.encode(encoding).

Приклад:

    >>> u'æøå'.encode ('utf8')
    '\ xc3 \ x83 \ xc2 \ xa6 \ xc3 \ x83 \ xc2 \ xb8 \ xc3 \ x83 \ xc2 \ xa5 "
    >>> u'æøå'.encode ('latin1')
    '\ xc3 \ xa6 \ xc3 \ xb8 \ xc3 \ xa5'
    >>> u'æøå'.encode ('ascii')
    UnicodeEncodeError: кодек "ascii" не може кодувати символи в позиції 0-5: 
    порядковий не в межах (128)

Зазвичай ви кодуєте рядок unicode, коли вам потрібно використовувати його для вводу-виводу, наприклад, перенести його по мережі або зберегти у файл диска.

Для перетворення рядка байтів у рядок unicode відомо як декодування . Використовуйте unicode('...', encoding)або "..." декодування (кодування).

Приклад:

   >>> u'æøå '
   u '\ xc3 \ xa6 \ xc3 \ xb8 \ xc3 \ xa5' # інтерпретатор друкує об'єкт unicode так
   >>> unicode ('\ xc3 \ xa6 \ xc3 \ xb8 \ xc3 \ xa5', 'latin1')
   u '\ xc3 \ xa6 \ xc3 \ xb8 \ xc3 \ xa5'
   >>> '\ xc3 \ xa6 \ xc3 \ xb8 \ xc3 \ xa5'.decode (' latin1 ')
   u '\ xc3 \ xa6 \ xc3 \ xb8 \ xc3 \ xa5'

Зазвичай ви декодуєте рядок байтів щоразу, коли отримуєте рядкові дані з мережі або з файлу диска.

Я вважаю, що в python 3 є деякі зміни в обробці unicode, тому вищезгадане, ймовірно, не вірно для python 3.

Деякі хороші посилання:

• Абсолютний мінімум кожен розробник програмного забезпечення абсолютно, позитивно повинен знати про набори юнікодів та символів (без виправдань!)
• Unicode HOWTO

anUnicode. encode ('кодування') призводить до об'єкта рядка і може бути викликаний об'єктом unicode

aString. декодування ('кодування') призводить до об'єкта unicode і може бути викликано на рядок, кодованому в заданому кодуванні.

Ще кілька пояснень:

Ви можете створити якийсь об’єкт unicode, який не має жодного набору кодування. Те, як зберігається Python в пам'яті, не викликає ваших проблем. Ви можете шукати його, розділяти його і викликати будь-яку функцію маніпулювання рядком, яка вам подобається.

Але настає час, коли ви хочете надрукувати об’єкт unicode для консолі або в якийсь текстовий файл. Тож вам доведеться кодувати його (наприклад, в UTF-8), ви викликаєте encode ('utf-8') і отримуєте рядок з '\ u <someNumber>' всередині, який чудово друкується.

Потім, знову ж - ви хотіли б зробити навпаки - читати рядок , закодовану в UTF-8 і розглядати його як Unicode, так що \ U360 буде один символ, а НЕ 5. Тоді ви декодувати рядок (з обраної кодуванням) і отримати абсолютно новий об’єкт типу unicode.

Як бічна примітка - ви можете вибрати деяке перекручене кодування, наприклад, "zip", "base64", "гниль", а деякі з них перетворяться з рядка в рядок, але я вважаю, що найпоширеніший випадок - той, що включає UTF-8 / UTF-16 і рядок.

mybytestring.encode (деякий codec) має значення для цих значень somecodec:

• база64
• bz2
• зліб
• шестигранний
• квопри
• гниль13
• string_escape
• uu

Я не впевнений, для чого добре розшифровувати вже розшифрований текст Unicode. Намагаючись, що з будь-яким кодуванням, схоже, завжди спершу намагаються кодувати кодування за замовчуванням у системі.

Є кілька кодувань, які можна використовувати для де- / кодування від str до str чи від unicode до unicode. Наприклад, base64, hex або навіть гниль13. Вони перераховані в модулі кодеків .

Редагувати:

Повідомлення декодування в рядку unicode може скасувати відповідну операцію кодування:

In [1]: u'0a'.decode('hex')
Out[1]: '\n'

Повернутий тип - це str замість unicode, на жаль, на мою думку. Але коли ви не робите належного en- / декодування між str та unicode, це все одно виглядає безладом.

Проста відповідь полягає в тому, що вони абсолютно протилежні один одному.

Комп'ютер використовує саму основну одиницю байтів для зберігання та обробки інформації; для людських очей це безглуздо.

Наприклад, "\ xe4 \ xb8 \ xad \ xe6 \ x96 \ x87" - це представлення двох китайських символів, але комп'ютер знає (значить друкувати або зберігати), це китайські символи, коли їм дають словник шукати це Китайське слово, в цьому випадку це словник "utf-8", і воно не зможе правильно показати призначене китайське слово, якщо заглянути в інший чи неправильний словник (використовуючи інший метод декодування).

У вищенаведеному випадку процес, коли комп'ютер шукає китайське слово, є decode().

І процес комп’ютерного запису китайців у пам'ять комп’ютера є encode().

Отже, кодована інформація є необробленими байтами, а декодована інформація - це необроблені байти та назва словника для посилання (але не сам словник).