Чому НЕ слід використовувати sys.setdefaultencoding ("utf-8") у py-скрипті?

Я бачив кілька сценаріїв py, які використовують це у верхній частині сценарію. У яких випадках його слід використовувати?

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

Відповідно до документації: Це дозволяє переходити від ASCII за замовчуванням до інших кодувань, таких як UTF-8, який виконуватиме Python, коли він повинен декодувати буфер рядків для однокодування.

Ця функція доступна лише під час запуску програми Python, коли Python сканує середовище. Її потрібно викликати в загальносистемному модулі, sitecustomize.pyПісля того, як цей модуль буде оцінено, setdefaultencoding()функція видаляється з sysмодуля.

Єдиний спосіб насправді використовувати його - це хак перезавантаження, який повертає атрибут.

Крім того, використання sys.setdefaultencoding()завжди було відмовлено , і це стало необов’язком у py3k. Кодування py3k провідне до "utf-8", а зміна його спричиняє помилку.

Я пропоную кілька вказівників для читання:

• http://blog.ianbicking.org/illusive-setdefaultencoding.html
• http://nedbatchelder.com/blog/200401/printing_unicode_from_python.html
• http://www.diveintopython3.net/strings.html#one-ring-to-rule-them-all
• http://boodebr.org/main/python/all-about-python-and-unicode
• http://blog.notdot.net/2010/07/Getting-unicode-right-in-Python

тл; д-р

Відповідь ніколи ! _{(якщо ви дійсно не знаєте, що робите)}

У 9/10 разів рішення може бути вирішене за допомогою належного розуміння кодування / декодування.

1/10 людей мають неправильно визначений локальний елемент або оточення, і їх потрібно встановити:

PYTHONIOENCODING="UTF-8"  

у їхньому середовищі, щоб вирішити проблеми друку консолі.

Що це робить?

sys.setdefaultencoding("utf-8")(натиснуто, щоб уникнути повторного використання) змінює кодування / декодування за замовчуванням, що використовується, коли Python 2.x потребує перетворення Unicode () у str () (і навпаки), і кодування не дається. Тобто:

str(u"\u20AC")
unicode("€")
"{}".format(u"\u20AC") 

У Python 2.x кодування за замовчуванням встановлено на ASCII, і наведені вище приклади не вдасться:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 0: ordinal not in range(128)

(Моя консоль налаштована як UTF-8, отже "€" = '\xe2\x82\xac', звідси виняток \xe2)

або

UnicodeEncodeError: 'ascii' codec can't encode character u'\u20ac' in position 0: ordinal not in range(128)

sys.setdefaultencoding("utf-8")дозволить мені працювати на мене , але не обов'язково працювати для людей, які не використовують UTF-8. За замовчуванням ASCII гарантує, що припущення про кодування не вводяться в код

Консоль

sys.setdefaultencoding("utf-8")також має побічний ефект, що з'являється для виправлення sys.stdout.encoding, який використовується під час друку символів на консолі. Для встановлення цього Python використовує місце користувача (Linux / OS X / Un * x) або кодову сторінку (Windows). Іноді локальна локальність користувача порушується і просто потрібно PYTHONIOENCODINGвиправити кодування консолі .

Приклад:

$ export LANG=en_GB.gibberish
$ python
>>> import sys
>>> sys.stdout.encoding
'ANSI_X3.4-1968'
>>> print u"\u20AC"
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\u20ac' in position 0: ordinal not in range(128)
>>> exit()

$ PYTHONIOENCODING=UTF-8 python
>>> import sys
>>> sys.stdout.encoding
'UTF-8'
>>> print u"\u20AC"
€

Що так погано з sys.setdefaultencoding ("utf-8") ?

Люди розробляли програму Python 2.x протягом 16 років, розуміючи, що кодування за замовчуванням - ASCII. UnicodeErrorМетоди обробки винятків були написані для обробки рядків для перетворень Unicode на рядках, які, як відомо, містять не-ASCII.

З https://anonbadger.wordpress.com/2015/06/16/why-sys-setdefaultencoding-will-break-code/

def welcome_message(byte_string):
    try:
        return u"%s runs your business" % byte_string
    except UnicodeError:
        return u"%s runs your business" % unicode(byte_string,
            encoding=detect_encoding(byte_string))

print(welcome_message(u"Angstrom (Å®)".encode("latin-1"))

Перед встановленням дефолтного кодування цей код не міг би розшифрувати "Å" в кодуванні ascii, а потім введе обробник винятків, щоб відгадати кодування та правильно перетворити його в unicode. Друк: Angstrom (Å®) веде ваш бізнес. Після встановлення кодування за замовчуванням до utf-8 код виявить, що байт-стринг можна інтерпретувати як utf-8, і тому він буде маніпулювати даними та повертати це замість цього: Angstrom (Ů) веде ваш бізнес.

Зміна того, що має бути постійним, матиме драматичні наслідки для модулів, від яких ви залежите. Краще просто виправити дані, що надходять та виходять із коду.

Приклад проблеми

Хоча налаштування дефолтного кодування на UTF-8 не є першопричиною в наступному прикладі, він показує, як маскуються проблеми і як при зміні кодування вхідного коду нерозривно порушується: UnicodeDecodeError: 'utf8' кодек може не декодуйте байт 0x80 у позиції 3131: недійсний початковий байт

#!/usr/bin/env python
#-*- coding: utf-8 -*-
u = u'moçambique'
print u.encode("utf-8")
print u

chmod +x test.py
./test.py
moçambique
moçambique

./test.py > output.txt
Traceback (most recent call last):
  File "./test.py", line 5, in <module>
    print u
UnicodeEncodeError: 'ascii' codec can't encode character 
u'\xe7' in position 2: ordinal not in range(128)

на оболонці працює, відправляючи в sdtout не, так що це одне вирішення, писати в stdout.

Я зробив інший підхід, який не виконується, якщо sys.stdout.encoding не визначається, або іншими словами, потрібно спочатку експортувати PYTHONIOENCODING = UTF-8, щоб записати в stdout.

import sys
if (sys.stdout.encoding is None):            
    print >> sys.stderr, "please set python env PYTHONIOENCODING=UTF-8, example: export PYTHONIOENCODING=UTF-8, when write to stdout." 
    exit(1)

так, використовуючи той же приклад:

export PYTHONIOENCODING=UTF-8
./test.py > output.txt

буду працювати

• Перша небезпека полягає в reload(sys).

  Перезавантажуючи модуль, ви фактично отримуєте дві копії модуля під час виконання. Старий модуль є об'єктом Python, як і все інше, і залишається живим, поки на нього є посилання. Отже, половина об’єктів буде вказувати на старий модуль, а половина на новий. Коли ви внесете певні зміни, ви ніколи не побачите, що вона настає, коли якийсь випадковий об'єкт не побачить змін:

  (This is IPython shell)
  
  In [1]: import sys
  
  In [2]: sys.stdout
  Out[2]: <colorama.ansitowin32.StreamWrapper at 0x3a2aac8>
  
  In [3]: reload(sys)
  <module 'sys' (built-in)>
  
  In [4]: sys.stdout
  Out[4]: <open file '<stdout>', mode 'w' at 0x00000000022E20C0>
  
  In [11]: import IPython.terminal
  
  In [14]: IPython.terminal.interactiveshell.sys.stdout
  Out[14]: <colorama.ansitowin32.StreamWrapper at 0x3a9aac8>

• Тепер, sys.setdefaultencoding()власне

  Все, на що це впливає, - це неявна конверсіяstr<->unicode . Тепер, чи utf-8є найбезпечніше кодування на планеті (сумісне із зворотним ASCII та всіма), перетворення зараз "просто працює", що може піти не так?

  Ну, що завгодно. А це небезпека.

  • Можливо, існує якийсь код, який покладається на те, UnicodeErrorщо викидається для введення без ASCII, або здійснює перекодування за допомогою обробника помилок, що тепер призводить до несподіваного результату. А оскільки весь код протестовано за замовчуванням, ви суворо перебуваєте на "непідтримуваній" території тут , і ніхто не дає вам гарантій того, як буде вести їх код.
  • Перекодування може призвести до несподіваних або непридатних результатів, якщо не все в системі використовує UTF-8, оскільки Python 2 насправді має кілька незалежних "кодових рядкових кодувань" . (Пам'ятайте, що програма повинна працювати для замовника, на обладнанні замовника.)
    • Знову ж таки, найгірше, що ви ніколи не дізнаєтесь про це, оскільки конверсія неявна - ви насправді не знаєте, коли і де це відбувається. (Python Zen, koan 2 ahoy!) Ви ніколи не дізнаєтесь, чому (і якщо) ваш код працює в одній системі і не працює на іншій. (Або ще краще, він працює в IDE і працює на консолі.)