Помилка кодування Python Unicode

Я читаю і аналізую XML-файл Amazon, і, хоча файл XML показує ", при спробі його надрукувати я отримую таку помилку:

'ascii' codec can't encode character u'\u2019' in position 16: ordinal not in range(128) 

З того, що я читав в Інтернеті до цих пір, помилка випливає з того, що XML-файл знаходиться в UTF-8, але Python хоче обробляти його як ASCII-кодований символ. Чи є простий спосіб усунути помилку і дозволити моїй програмі надрукувати XML під час читання?

Ймовірно, ваша проблема полягає в тому, що ви добре це розібрали, і тепер ви намагаєтеся надрукувати вміст XML, а ви не можете, оскільки є деякі іноземні символи Unicode. Спробуйте спочатку кодувати ваш рядок unicode як ascii:

unicodeData.encode('ascii', 'ignore')

частина «ігнорувати» підкаже, щоб просто пропустити ці символи. З документів python:

>>> u = unichr(40960) + u'abcd' + unichr(1972)
>>> u.encode('utf-8')
'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
'abcd'
>>> u.encode('ascii', 'replace')
'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
'&#40960;abcd&#1972;'

Можливо, ви хочете прочитати цю статтю: http://www.joelonsoftware.com/articles/Unicode.html , що мені здалося дуже корисним як основний підручник щодо того, що відбувається. Після прочитаного ви перестанете відчувати, ніби просто здогадуєтесь, які команди використовувати (або принаймні, що трапилося зі мною).

Краще рішення:

if type(value) == str:
    # Ignore errors even if the string is not proper UTF-8 or has
    # broken marker bytes.
    # Python built-in function unicode() can do this.
    value = unicode(value, "utf-8", errors="ignore")
else:
    # Assume the value object has proper __unicode__() method
    value = unicode(value)

Якщо ви хочете прочитати більше про те, чому:

http://docs.plone.org/manage/troubleshooting/unicode.html#id1

Не жорстко кодуйте кодування символів вашого середовища всередині вашого сценарію; друкуйте текст Unicode безпосередньо замість цього:

assert isinstance(text, unicode) # or str on Python 3
print(text)

Якщо ваш висновок буде переспрямовано на файл (або трубу); ви можете використовувати PYTHONIOENCODINGenvvar, щоб вказати кодування символів:

$ PYTHONIOENCODING=utf-8 python your_script.py >output.utf8

В іншому випадку, python your_script.pyповинен працювати як - ваші регіональні настройки використовуються для кодування тексту (на перевірки POSIX: LC_ALL, LC_CTYPE, LANGenvvars - набірLANG в кодуванні UTF-8 локалі , якщо це необхідно).

Щоб надрукувати Unicode в Windows, дивіться цю відповідь, яка показує, як надрукувати Unicode на консолі Windows, у файл або за допомогою IDLE .

Відмінна публікація: http://www.carlosble.com/2010/12/understanding-python-and-unicode/

# -*- coding: utf-8 -*-

def __if_number_get_string(number):
    converted_str = number
    if isinstance(number, int) or \
            isinstance(number, float):
        converted_str = str(number)
    return converted_str


def get_unicode(strOrUnicode, encoding='utf-8'):
    strOrUnicode = __if_number_get_string(strOrUnicode)
    if isinstance(strOrUnicode, unicode):
        return strOrUnicode
    return unicode(strOrUnicode, encoding, errors='ignore')


def get_string(strOrUnicode, encoding='utf-8'):
    strOrUnicode = __if_number_get_string(strOrUnicode)
    if isinstance(strOrUnicode, unicode):
        return strOrUnicode.encode(encoding)
    return strOrUnicode

Можна використовувати щось із форми

s.decode('utf-8')

який перетворить кодований UTF-8 тестуванням у рядок Python Unicode. Але точна процедура використання залежить від того, яким чином ви завантажуєте та аналізуєте XML-файл, наприклад, якщо ви ніколи не отримуєте прямого доступу до ряду XML, можливо, вам доведеться використовувати об'єкт декодера з codecsмодуля .

Я написав наступне, щоб виправити неприємні котирування, які не мають права, і перетворити силу на щось корисне.

unicodeToAsciiMap = {u'\u2019':"'", u'\u2018':"`", }

def unicodeToAscii(inStr):
    try:
        return str(inStr)
    except:
        pass
    outStr = ""
    for i in inStr:
        try:
            outStr = outStr + str(i)
        except:
            if unicodeToAsciiMap.has_key(i):
                outStr = outStr + unicodeToAsciiMap[i]
            else:
                try:
                    print "unicodeToAscii: add to map:", i, repr(i), "(encoded as _)"
                except:
                    print "unicodeToAscii: unknown code (encoded as _)", repr(i)
                outStr = outStr + "_"
    return outStr

Якщо вам потрібно надрукувати приблизне представлення рядка на екрані, а не ігнорувати ці недруковані символи, будь ласка, спробуйте unidecodeтут упакувати:

https://pypi.python.org/pypi/Unidecode

Пояснення можна знайти тут:

https://www.tablix.org/~avian/blog/archives/2009/01/unicode_transliteration_in_python/

Це краще, ніж використовувати u.encode('ascii', 'ignore')для заданого рядкаu , і може врятувати вас від зайвого головного болю, якщо точність символів не є тим, за чим ви хочете, але все ж хочете мати читабельність людини.

Віраван

Спробуйте додати наступний рядок у верхній частині сценарію python.

# _*_ coding:utf-8 _*_

Пітон 3.5, 2018

Якщо ви не знаєте, що таке кодування, але у аналізатора Unicode виникають проблеми, ви можете відкрити файл у Notepad++верхній смузі та вибрати вгорі Encoding->Convert to ANSI. Тоді ви можете написати свій пітон так

with open('filepath', 'r', encoding='ANSI') as file:
    for word in file.read().split():
        print(word)