Python, Unicode та консоль Windows

Коли я намагаюся надрукувати рядок Unicode на консолі Windows, я отримую UnicodeEncodeError: 'charmap' codec can't encode character ....помилку. Я припускаю, що це тому, що консоль Windows не приймає символи, призначені лише для Unicode. Який найкращий спосіб обійти це? Чи є спосіб, щоб я міг змусити Python автоматично друкувати, ?а не відмовлятись у цій ситуації?

Редагувати: я використовую Python 2.5.

Примітка: Відповідь @ LasseV.Karlsen з галочкою є якось застарілою (з 2008 року). Будь ласка, використовуйте рішення / відповіді / пропозиції нижче з обережністю !!

Відповідь @JFSebastian є більш актуальною на сьогодні (6 січня 2016).

Примітка. Ця відповідь є якось застарілою (з 2008 року). Будь ласка, використовуйте рішення нижче обережно !!

Ось сторінка, яка детально описує проблему та рішення (пошук на сторінці тексту Wrapping sys.stdout в екземпляр ):

PrintFails - Python Wiki

Ось уривок коду з цієї сторінки:

$ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line'
  UTF-8
  <type 'unicode'> 2
  Б
  Б

  $ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line' | cat
  None
  <type 'unicode'> 2
  Б
  Б

На цій сторінці є додаткова інформація, яку варто прочитати.

Оновлення: Python 3.6 реалізує PEP 528: Змініть кодування консолі Windows на UTF-8 : консоль за замовчуванням у Windows тепер прийме всі символи Unicode. Внутрішньо він використовує той же API Unicode, що і win-unicode-consoleпакет, згаданий нижче . print(unicode_string)повинні просто працювати зараз.

Я отримую UnicodeEncodeError: 'charmap' codec can't encode character... помилку.

Помилка означає, що символи Unicode, які ви намагаєтеся надрукувати, не можуть бути представлені за допомогою поточного ( chcp) кодування символів консолі. Кодова сторінка часто 8-бітове кодування, таке, cp437яке може представляти лише ~ 0x100 символів з ~ 1M символів Unicode:

>>> u "\ N {EURO SIGN}". encode ('cp437')
Traceback (останній останній дзвінок):
...
UnicodeEncodeError: кодек "charmap" не може кодувати символ "\ u20ac" у позиції 0:
символьні карти до 

Я припускаю, що це тому, що консоль Windows не приймає символи, призначені лише для Unicode. Який найкращий спосіб обійти це?

Консоль Windows приймає символи Unicode і навіть може відображати їх (лише BMP), якщо відповідний шрифт налаштований . WriteConsoleW()API слід використовувати, як пропонується у відповіді @Daira Hopwood . Це можна назвати прозоро, тобто вам не потрібно і не слід змінювати свої сценарії, якщо ви використовуєте win-unicode-consoleпакет :

T:\> py -mpip install win-unicode-console
T:\> py -mrun your_script.py

Дивіться, у чому полягає угода з Python 3.4, Unicode, різними мовами та Windows?

Чи є спосіб, щоб я міг змусити Python автоматично друкувати, ?а не відмовлятись у цій ситуації?

Якщо ?у вашому випадку достатньо замінити всі символи, які не можна PYTHONIOENCODINGрозшифрувати, тоді ви можете встановити envvar :

T:\> set PYTHONIOENCODING=:replace
T:\> python3 -c "print(u'[\N{EURO SIGN}]')"
[?]

У Python 3.6+, кодування, визначене PYTHONIOENCODINGenvvar, ігнорується для інтерактивних консольних буферів, якщо PYTHONLEGACYWINDOWSIOENCODINGenvvar не встановлено на порожню рядок.

Незважаючи на інші правдоподібні відповіді, які пропонують змінити кодову сторінку на 65001, це не працює . (Крім того , зміна кодування по замовчуванням , використовуючи sys.setdefaultencodingце не дуже гарна ідея .)

Дивіться це запитання для детальної інформації та коду, який працює.

Якщо вам не цікаво отримати надійне уявлення про поганих символів, ви можете використовувати щось подібне (робота з python> = 2.6, включаючи 3.x):

from __future__ import print_function
import sys

def safeprint(s):
    try:
        print(s)
    except UnicodeEncodeError:
        if sys.version_info >= (3,):
            print(s.encode('utf8').decode(sys.stdout.encoding))
        else:
            print(s.encode('utf8'))

safeprint(u"\N{EM DASH}")

Неправильні символи в рядку будуть перетворені в представлення, яке можна друкувати за допомогою консолі Windows.

Наведений нижче код дозволить зробити вихід Python консолі UTF-8 навіть у Windows.

Консоль буде добре відображати символи в Windows 7, але в Windows XP вона не відображатиме їх добре, але, принаймні, вона буде працювати, і найголовніше, що ви матимете послідовний вихід зі свого сценарію на всіх платформах. Ви зможете перенаправити вихід на файл.

Нижче код був протестований на Python 2.6 у Windows.

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import codecs, sys

reload(sys)
sys.setdefaultencoding('utf-8')

print sys.getdefaultencoding()

if sys.platform == 'win32':
    try:
        import win32console 
    except:
        print "Python Win32 Extensions module is required.\n You can download it from https://sourceforge.net/projects/pywin32/ (x86 and x64 builds are available)\n"
        exit(-1)
    # win32console implementation  of SetConsoleCP does not return a value
    # CP_UTF8 = 65001
    win32console.SetConsoleCP(65001)
    if (win32console.GetConsoleCP() != 65001):
        raise Exception ("Cannot set console codepage to 65001 (UTF-8)")
    win32console.SetConsoleOutputCP(65001)
    if (win32console.GetConsoleOutputCP() != 65001):
        raise Exception ("Cannot set console output codepage to 65001 (UTF-8)")

#import sys, codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
sys.stderr = codecs.getwriter('utf8')(sys.stderr)

print "This is an Е乂αmp١ȅ testing Unicode support using Arabic, Latin, Cyrillic, Greek, Hebrew and CJK code points.\n"

Просто введіть цей код у командному рядку перед виконанням сценарію python:

chcp 65001 & set PYTHONIOENCODING=utf-8

Як і відповідь Джампаоло Родола, але ще більш брудна: я дійсно, дійсно маю намір витратити тривалий час (невдовзі) на розуміння всієї теми кодування та того, як вони застосовуються до консолей Windoze,

На даний момент я просто хотів sthg, що означало б, що моя програма НЕ КРЕШИТИ, і що я зрозумів ... а також, що не передбачає імпорту надто багато екзотичних модулів (зокрема, я використовую Jython, тому половину часу Python Модуль, виявляється, насправді недоступний).

def pr(s):
    try:
        print(s)
    except UnicodeEncodeError:
        for c in s:
            try:
                print( c, end='')
            except UnicodeEncodeError:
                print( '?', end='')

Зверніть увагу: "pr" коротший за тип, ніж "print" (і зовсім трохи коротший, ніж "safeprint") ...!

Для Python 2 спробуйте:

print unicode(string, 'unicode-escape')

Для Python 3 спробуйте:

import os
string = "002 Could've Would've Should've"
os.system('echo ' + string)

Або спробуйте win-unicode-console:

pip install win-unicode-console
py -mrun your_script.py

TL; DR:

print(yourstring.encode('ascii','replace'));

Я сам наткнувся на це, працюючи над ботом Twitch chat (IRC). (Python 2.7 остання)

Я хотів розібрати повідомлення чату, щоб відповісти ...

msg = s.recv(1024).decode("utf-8")

але також безпечно друкуйте їх на консолі у читаному для людини форматі:

print(msg.encode('ascii','replace'));

Це виправило UnicodeEncodeError: 'charmap'помилку підкидання бота та замінило символи unicode ?.

Причиною вашої проблеми НЕ консоль Win не бажає приймати Unicode (так як це робиться, оскільки я думаю, що за замовчуванням Win2k). Це кодування системи за замовчуванням. Спробуйте цей код і подивіться, що він дає:

import sys
sys.getdefaultencoding()

якщо він пише ascii, то тут є ваша причина ;-) Ви повинні створити файл під назвою sitecustomize.py і помістити його під шлях python (я ставлю його під /usr/lib/python2.5/site-packages, але це відрізняється від Win - це c: \ python \ lib \ site-пакети чи щось таке) із таким вмістом:

import sys
sys.setdefaultencoding('utf-8')

і, можливо, ви можете також вказати кодування у своїх файлах:

# -*- coding: UTF-8 -*-
import sys,time

Редагувати: більше інформації можна знайти у чудовій книзі "Занурись у Пітон"

Вигляд пов'язаний з відповіддю Дж. Ф. Себастьяна, але більш прямий.

Якщо у вас виникають проблеми під час друку на консоль / термінал, виконайте це:

>set PYTHONIOENCODING=UTF-8

Python 3.6 windows7: Існує кілька способів запуску python, ви можете використовувати консоль python (на якій є логотип python) або консоль Windows (на ній написано cmd.exe).

Я не зміг надрукувати utf8 символів на консолі Windows. Друк символів utf-8 видаляє мені цю помилку:

OSError: [winError 87] The paraneter is incorrect 
Exception ignored in: (_io-TextIOwrapper name='(stdout)' mode='w' ' encoding='utf8') 
OSError: [WinError 87] The parameter is incorrect 

Спробувавши і не зрозумівши відповідь вище, я виявив, що це лише проблема встановлення. Клацніть правою кнопкою миші на верхній частині вікон cmd-консолі, на вкладці fontвибрали консоль lucida.

Джеймс Сулак запитав:

Чи є спосіб, щоб я міг змусити Python автоматично друкувати? замість невдачі в цій ситуації?

Інші рішення рекомендують спробувати змінити середовище Windows або замінити Python print() функцію . Відповідь нижче наближається до виконання прохання Сулака.

У Windows 7 Python 3.5 можна зробити для друку Unicode, не викидаючи UnicodeEncodeError наступне:

    Замість:    print(text)
    заміна:     print(str(text).encode('utf-8'))

Замість того, щоб викидати виняток, Python тепер відображає недруковані символи Unicode у вигляді \ xNN шістнадцяткових кодів, наприклад:

  Халмало n \ xe2 \ x80 \ x99 \ xc3 \ xa9tait плюс qu \ xe2 \ x80 \ x99un noir point

Замість

  Halmalo n'était плюс qu'un point noir

Зрозуміло, що останній є кращим при інших родах , але в іншому випадку перший є абсолютно точним для діагностичних повідомлень. Оскільки він відображає Unicode як буквальні значення байтів, перший може також допомогти в діагностиці проблем кодування / декодування.

Примітка:str() виклик вище необхідно , тому що в іншому випадку encode()призводить до Python , щоб відхилити символ Unicode як кортеж чисел.