UnicodeEncodeError: 'ascii' кодек не може кодувати символ u '\ xef' у позиції 0: порядковий номер не в діапазоні (128)

Я хочу проаналізувати свій XML-документ. Отже, я зберігав свій XML-документ, як показано нижче

class XMLdocs(db.Expando):  
   id = db.IntegerProperty()    
   name=db.StringProperty()  
   content=db.BlobProperty()  

Тепер мій нижче мій код

parser = make_parser()     
curHandler = BasketBallHandler()  
parser.setContentHandler(curHandler)  
for q in XMLdocs.all():  
        parser.parse(StringIO.StringIO(q.content))

Я отримую нижче помилки

'ascii' codec can't encode character u'\xef' in position 0: ordinal not in range(128)
Traceback (most recent call last):  
  File "/base/python_runtime/python_lib/versions/1/google/appengine/ext/webapp/__init__.py", line 517, in __call__
    handler.post(*groups)   
  File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/base_handler.py", line 59, in post
    self.handle()   
  File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/handlers.py", line 168, in handle
    scan_aborted = not self.process_entity(entity, ctx)   
  File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/handlers.py", line 233, in process_entity
    handler(entity)   
  File "/base/data/home/apps/parsepython/1.348669006354245654/parseXML.py", line 71, in process
    parser.parse(StringIO.StringIO(q.content))   
  File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/expatreader.py", line 107, in parse
    xmlreader.IncrementalParser.parse(self, source)   
  File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/xmlreader.py", line 123, in parse
    self.feed(buffer)  
  File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/expatreader.py", line 207, in feed
    self._parser.Parse(data, isFinal)   
  File "/base/data/home/apps/parsepython/1.348669006354245654/parseXML.py", line 136, in characters   
    print ch   
UnicodeEncodeError: 'ascii' codec can't encode character u'\xef' in position 0: ordinal not in range(128)   

Здається, ви натискаєте позначку порядку байтів UTF-8 (BOM). Спробуйте використати цей рядок унікоду з вилученою специфікацією:

import codecs

content = unicode(q.content.strip(codecs.BOM_UTF8), 'utf-8')
parser.parse(StringIO.StringIO(content))

Я використовував stripзамість цього, lstripоскільки у вашому випадку у вас було кілька випадків специфікації, можливо, через конкатенований вміст файлу.

Фактична найкраща відповідь на цю проблему залежить від вашого оточення, а саме того, яке кодування очікує ваш термінал.

Найшвидше однорядкове рішення - кодувати все, що ви друкуєте, до ASCII, що ваш термінал майже напевно приймає, відкидаючи символи, які ви не можете надрукувати:

print ch #fails
print ch.encode('ascii', 'ignore')

Краще рішення - змінити кодування терміналу на utf-8 і кодувати все як utf-8 перед друком. Ви повинні мати звичку думати про своє кодування Unicode КОЖНИЙ раз, коли друкуєте або читаєте рядок.

Просто розміщення .encode('utf-8')в кінці об'єкта зробить роботу в останніх версіях Python.

Це спрацювало для мене:

from django.utils.encoding import smart_str
content = smart_str(content)

Проблема відповідно до вашого відстеження - це printвислів у рядку 136 з parseXML.py. На жаль, ви не вважали за потрібне опублікувати цю частину коду, але я збираюся здогадуватися, що вона просто там для налагодження. Якщо ви зміните його на:

print repr(ch)

тоді ви повинні принаймні побачити, що ви намагаєтеся надрукувати.

Проблема в тому, що ви намагаєтеся надрукувати символ Unicode на можливо не-unicode терміналі. Вам потрібно закодувати його з 'replaceопцією перед друком, наприклад print ch.encode(sys.stdout.encoding, 'replace').

Найпростішим рішенням для подолання цієї проблеми є встановлення кодування за замовчуванням на utf8. Наслідуйте приклад

import sys

reload(sys)
sys.setdefaultencoding('utf8')