UnicodeEncodeError: кодек "ascii" не може кодувати символ u '\ xa0' у позиції 20: порядковий не знаходиться в діапазоні (128)

У мене проблеми з символами Unicode з тексту, отриманого з різних веб-сторінок (на різних сайтах). Я використовую BeautifulSoup.

Проблема полягає в тому, що помилка не завжди відтворюється; іноді він працює з деякими сторінками, а іноді - барфікує, кидаючи UnicodeEncodeError. Я спробував майже все, про що можу придумати, але все ж не знайшов нічого, що працює постійно, не кидаючи якусь помилку, пов’язану з Unicode.

Один з розділів коду, який викликає проблеми, показаний нижче:

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

Ось слід стека, який утворюється на деяких Струнках, коли виконується фрагмент вище:

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

Я підозрюю, що це тому, що деякі сторінки (або більш конкретно, сторінки з деяких сайтів) можуть бути закодовані, а інші можуть бути незашифрованими. Усі веб-сайти знаходяться у Великобританії та надають дані, призначені для споживання у Великобританії - тому жодних питань, пов'язаних з інтерналізацією чи спілкуванням з текстом, написаним іншим, крім англійської, не існує.

У когось є ідеї, як це вирішити, щоб я міг КОНСИСТИЧНО виправити цю проблему?

Вам потрібно прочитати HITTO Python Unicode . Ця помилка - найперший приклад .

В основному, припиніть використання str для перетворення з unicode в закодований текст / байти.

Натомість правильно використовуйте .encode()для кодування рядка:

p.agent_info = u' '.join((agent_contact, agent_telno)).encode('utf-8').strip()

або повністю працювати в unicode.

Це класична больова точка з однотонним пітоном! Розглянемо наступне:

a = u'bats\u00E0'
print a
 => batsà

Все добре поки що, але якщо ми називаємо str (a), давайте подивимося, що станеться:

str(a)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)

Ой, окунь, це нікому не допоможе! Щоб виправити помилку, кодуйте байти явно за допомогою .encode та повідомте python, який кодек використовувати:

a.encode('utf-8')
 => 'bats\xc3\xa0'
print a.encode('utf-8')
 => batsà

Вулиця \ u00E0!

Проблема полягає в тому, що під час виклику str (), python використовує кодування символів за замовчуванням, щоб спробувати кодувати байти, які ви йому надали, які у вашому випадку іноді представляють символи unicode. Щоб виправити проблему, ви повинні сказати python, як поводитися з рядком, який ви йому надаєте, використовуючи .encode ('what_unicode'). Більшу частину часу вам доведеться добре використовувати utf-8.

Про чудову викладку з цієї теми дивіться розмову про PyCon Неда Батчелдера тут: http://nedbatchelder.com/text/unipain.html

Я знайшов для себе елегантну роботу над тим, щоб видалити символи та продовжувати зберігати рядок як рядок наступним чином:

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

Важливо зауважити, що використання параметра ігнорування небезпечно, оскільки воно мовчки скидає будь-яку підтримку unicode (та інтернаціоналізації) з коду, який використовує її, як показано тут (перетворити unicode):

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

добре, я спробував усе, але це не допомогло, після гугл я зрозумів наступне, і це допомогло. python 2.7 використовується.

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

Тонка проблема, що призводить до виходу з ладу навіть друку, полягає в неправильному встановленні змінних оточення, наприклад. тут LC_ALL встановлено на "C". У Debian вони відмовляють встановлювати це: Вікі Debian на Locale

$ echo $LANG
en_US.utf8
$ echo $LC_ALL 
C
$ python -c "print (u'voil\u00e0')"
Traceback (most recent call last):
  File "<string>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)
$ export LC_ALL='en_US.utf8'
$ python -c "print (u'voil\u00e0')"
voilà
$ unset LC_ALL
$ python -c "print (u'voil\u00e0')"
voilà

Для мене те, що працювало:

BeautifulSoup(html_text,from_encoding="utf-8")

Сподіваюся, що це комусь допоможе.

Насправді я виявив, що в більшості випадків просто викреслити цих персонажів набагато простіше:

s = mystring.decode('ascii', 'ignore')

Проблема полягає в тому, що ви намагаєтеся надрукувати символ unicode, але ваш термінал не підтримує його.

Ви можете спробувати встановити language-pack-enпакет, щоб виправити це:

sudo apt-get install language-pack-en

яка забезпечує оновлення даних про переклад англійською мовою для всіх підтримуваних пакетів (включаючи Python). При необхідності встановіть інший мовний пакет (залежно від того, які символи ви намагаєтеся надрукувати).

У деяких дистрибутивах Linux це потрібно для того, щоб переконатися, що англійські локалі за замовчуванням налаштовані належним чином (тому символами unicode можна обробляти оболонку / термінал). Іноді його простіше встановити, ніж налаштувати вручну.

Потім під час написання коду обов'язково використовуйте правильне кодування у своєму коді.

Наприклад:

open(foo, encoding='utf-8')

Якщо у вас все-таки проблема, двічі перевірте конфігурацію системи, наприклад:

• Ваш локальний файл ( /etc/default/locale), який повинен мати напр

  LANG="en_US.UTF-8"
  LC_ALL="en_US.UTF-8"

  або:

  LC_ALL=C.UTF-8
  LANG=C.UTF-8

• Значення оболонки LANG/ LC_CTYPEв оболонці.

• Перевірте, який саме місце підтримує оболонка:

  locale -a | grep "UTF-8"

Демонстрація проблеми та рішення у свіжому ВМ.

1. Ініціалізуйте та надайте VM (наприклад, використовуючи vagrant):

   vagrant init ubuntu/trusty64; vagrant up; vagrant ssh

   ^{Дивіться: доступні коробки Ubuntu .} .

2. Друк символів unicode (таких як знак торгової марки ™):

   $ python -c 'print(u"\u2122");'
   Traceback (most recent call last):
     File "<string>", line 1, in <module>
   UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 0: ordinal not in range(128)

3. Зараз встановлюється language-pack-en:

   $ sudo apt-get -y install language-pack-en
   The following extra packages will be installed:
     language-pack-en-base
   Generating locales...
     en_GB.UTF-8... /usr/sbin/locale-gen: done
   Generation complete.

4. Тепер проблему слід вирішити:

   $ python -c 'print(u"\u2122");'
   ™

5. В іншому випадку спробуйте виконати таку команду:

   $ LC_ALL=C.UTF-8 python -c 'print(u"\u2122");'
   ™

У оболонці:

1. Знайдіть підтримуваний локальний UTF-8 за допомогою наступної команди:

   locale -a | grep "UTF-8"

2. Експортуйте його перед запуском сценарію, наприклад:

   export LC_ALL=$(locale -a | grep UTF-8)

   або вручну:

   export LC_ALL=C.UTF-8

3. Перевірте це, надрукувавши спеціальний символ, наприклад ™:

   python -c 'print(u"\u2122");'

Вище тестували в Ubuntu.

Додайте рядок нижче на початку сценарію (або як другий рядок):

# -*- coding: utf-8 -*-

Це визначення кодування вихідного коду python. Більше інформації в PEP 263 .

Ось повторна перевірка деяких інших так званих відповідей "вигнання". Бувають ситуації, коли просто викинути клопітких персонажів / рядків є хорошим рішенням, незважаючи на озвучені тут протести.

def safeStr(obj):
    try: return str(obj)
    except UnicodeEncodeError:
        return obj.encode('ascii', 'ignore').decode('ascii')
    except: return ""

Тестування:

if __name__ == '__main__': 
    print safeStr( 1 ) 
    print safeStr( "test" ) 
    print u'98\xb0'
    print safeStr( u'98\xb0' )

Результати:

1
test
98°
98

Пропозиція: ви можете toAsciiзамість цього призначити цю функцію ? Це питання переваги.

Це було написано для Python 2. Для Python 3, я вважаю, ви хочете скористатися, bytes(obj,"ascii")а не використовувати str(obj). Я цього ще не перевіряв, але в якийсь момент я перегляну відповідь.

Я завжди ставлю код нижче в перших двох рядках файлів python:

# -*- coding: utf-8 -*-
from __future__ import unicode_literals

Тут знайдено прості функції помічників .

def safe_unicode(obj, *args):
    """ return the unicode representation of obj """
    try:
        return unicode(obj, *args)
    except UnicodeDecodeError:
        # obj is byte string
        ascii_text = str(obj).encode('string_escape')
        return unicode(ascii_text)

def safe_str(obj):
    """ return the byte string representation of obj """
    try:
        return str(obj)
    except UnicodeEncodeError:
        # obj is unicode
        return unicode(obj).encode('unicode_escape')

Просто додайте до змінного коду ('utf-8')

agent_contact.encode('utf-8')

Відкрийте термінал і запустіть команду нижче:

export LC_ALL="en_US.UTF-8"

Я просто використав наступне:

import unicodedata
message = unicodedata.normalize("NFKD", message)

Перевірте, що документація говорить про це:

unicodedata.normalize (form, unistr) Повернення нормальної форми форми для рядка Unicode unistr. Дійсні значення для форми - "NFC", "NFKC", "NFD" та "NFKD".

Стандарт Unicode визначає різні форми нормалізації рядка Unicode, засновані на визначенні канонічної еквівалентності та еквівалентності сумісності. У Unicode кілька символів можуть бути виражені різними способами. Наприклад, символ U + 00C7 (LATIN CAPITAL LETTER C CEDILLA) також може бути виражений як послідовність U + 0043 (LATIN CAPITAL LETTER C) U + 0327 (COMBINING CEDILLA).

Для кожного символу існують дві нормальні форми: нормальна форма C і нормальна форма D. Нормальна форма D (NFD) також відома як канонічне розкладання, і переводить кожен символ у його розкладену форму. Нормальна форма C (NFC) спочатку застосовує канонічну декомпозицію, потім знову створює попередньо поєднані символи.

Окрім цих двох форм, існують дві додаткові нормальні форми, засновані на еквівалентності сумісності. У Unicode підтримуються певні символи, які зазвичай були б уніфіковані з іншими символами. Наприклад, U + 2160 (ROMAN NUMERAL ONE) - це дійсно те саме, що U + 0049 (LATIN CAPITAL LETTER I). Однак він підтримується в Unicode для сумісності з існуючими наборами символів (наприклад, gb2312).

Нормальна форма KD (NFKD) застосовуватиме декомпозицію сумісності, тобто замінить усі символи сумісності на їх еквіваленти. Нормальна форма KC (NFKC) спочатку застосовує розклад сумісності, а потім - канонічний склад.

Навіть якщо два рядки unicode нормалізовані і виглядають однаково для людського читача, якщо в одного є об'єднані символи, а в іншого немає, вони можуть не порівнювати рівних.

Вирішує це для мене. Просто і легко.

Нижче рішення працювало на мене, щойно додав

u "Рядок"

(представляє рядок як unicode) перед моєю рядком.

result_html = result.to_html(col_space=1, index=False, justify={'right'})

text = u"""
<html>
<body>
<p>
Hello all, <br>
<br>
Here's weekly summary report.  Let me know if you have any questions. <br>
<br>
Data Summary <br>
<br>
<br>
{0}
</p>
<p>Thanks,</p>
<p>Data Team</p>
</body></html>
""".format(result_html)

На жаль, це працює в Python 3 принаймні ...

Пітон 3

Іноді помилка полягає в змінних навколишнього середовища і втілює їх

import os
import locale
os.environ["PYTHONIOENCODING"] = "utf-8"
myLocale=locale.setlocale(category=locale.LC_ALL, locale="en_GB.UTF-8")
... 
print(myText.encode('utf-8', errors='ignore'))

де помилки ігноруються при кодуванні.

У мене просто була ця проблема, і Google привів мене сюди, тому просто для додання тут загальних рішень це те, що для мене спрацювало:

# 'value' contains the problematic data
unic = u''
unic += value
value = unic

У мене була така ідея, прочитавши презентацію Неда .

Я не претендую на те, щоб повністю зрозуміти, чому це працює. Тож, якщо хтось може відредагувати цю відповідь або поставити коментар для пояснення, я буду вдячний.

Ми виявили цю помилку під час запуску manage.py migrate в Джанго за допомогою локалізованих світильників.

Наше джерело містило # -*- coding: utf-8 -*-декларацію, MySQL був правильно налаштований на utf8, а Ubuntu мав відповідний мовний пакет і значення в/etc/default/locale .

Проблема полягала лише в тому, що в контейнері Django (ми використовуємо докер) відсутній LANG env var.

Установка LANGдля en_US.UTF-8і перезапуску контейнера перед повторним запуском міграція виправила проблему.

Багато відповідей тут (наприклад, @agf та @Andbdrew) вже стосувалися найбільш безпосередніх аспектів питання щодо ОП.

Однак я думаю, що є один тонкий, але важливий аспект, який значною мірою ігнорується, і який дуже важливий для всіх, хто, як я, опинився тут, намагаючись зрозуміти кодування в Python: Управління представленням персонажів Python 2 проти Python 3 дивовижно відрізняється . Я відчуваю, що велика плутанина там пов'язана з тим, що люди читають про кодування в Python, не знаючи версії.

Я пропоную всім, хто зацікавлений у розумінні першопричини проблеми ОП, для початку прочитати вступ Спольського до представлень символів та Unicode, а потім перейти до Batchelder на Unicode в Python 2 та Python 3.

Намагайтеся уникати перетворення змінної в str (змінну). Іноді це може спричинити проблему.

Простий рада, якого слід уникати:

try: 
    data=str(data)
except:
    data = data #Don't convert to String

Наведений вище приклад також вирішить помилку кодування.

Якщо у вас є щось подібне, packet_data = "This is data"зробіть це в наступному рядку, відразу після ініціалізації packet_data:

unic = u''
packet_data = unic

Оновлення для python 3.0 та новіших версій. Спробуйте наступне в редакторі python:

locale-gen en_US.UTF-8
export LANG=en_US.UTF-8 LANGUAGE=en_US.en
LC_ALL=en_US.UTF-8

Це встановлює локальне кодування локальної системи у форматі UTF-8.

Більше можна прочитати тут на сторінці PEP 538 - Примусовий спадковий локальний C на локальній основі UTF-8 .

У мене виникла ця проблема, намагаючись вивести символи Unicode на stdout, але зsys.stdout.write , а не друкувати (щоб я міг також підтримувати вихід у інший файл).

З власної документації BeautifulSoup я вирішив це за допомогою бібліотеки кодеків:

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)

Ця проблема часто виникає, коли проект django розгортається за допомогою Apache. Оскільки Apache встановлює змінну середовища LANG = C в / etc / sysconfig / httpd. Просто відкрийте файл і прокоментуйте (або змініть на ваш колір) цей параметр. Або скористайтесь опцією lang команди WSGIDaemonProcess, в цьому випадку ви зможете встановити різні змінні середовища LANG для різних віртуальних хостів.

Рекомендоване рішення не спрацювало для мене, і я міг би жити з демпінгом усіх символів, які не є ascii

s = s.encode('ascii',errors='ignore')

що залишило мене з чистим позбавленим, що не кидає помилок.

Це спрацює:

 >>>print(unicodedata.normalize('NFD', re.sub("[\(\[].*?[\)\]]", "", "bats\xc3\xa0")).encode('ascii', 'ignore'))

Вихід:

>>>bats