UnicodeEncodeError: кодек 'latin-1' не може кодувати символ

Що може спричинити цю помилку при спробі вставити сторонній символ у базу даних?

>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)

І як я можу це вирішити?

Дякую!

Символ U + 201C, подвійне лапка, відсутнє в кодуванні Latin-1 (ISO-8859-1).

Він знаходиться присутній в кодової сторінці тисячі двісті п'ятьдесят-два (західноєвропейська). Це спеціальне для Windows кодування, яке базується на ISO-8859-1, але яке розміщує зайві символи в діапазоні 0x80-0x9F. Кодову сторінку 1252 часто плутають із ISO-8859-1, і це дратує, але тепер уже стандартна поведінка веб-браузера: якщо ви обслуговуєте свої сторінки як ISO-8859-1, браузер замість них буде розглядати їх як cp1252. Однак вони насправді є двома різними кодуваннями:

>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'

Якщо ви використовуєте свою базу даних лише як байт-сховище, ви можете використовувати cp1252 для кодування “та інших символів, присутніх на кодовій сторінці Windows Western. Але все-таки інші символи Unicode, яких немає в cp1252, спричинять помилки.

Ви можете використовувати encode(..., 'ignore')для придушення помилок, позбувшись символів, але насправді в цьому столітті ви повинні використовувати UTF-8 як у своїй базі даних, так і на своїх сторінках. Це кодування дозволяє використовувати будь-який символ. Ви також повинні в ідеалі повідомити MySQL, що використовуєте рядки UTF-8 (встановивши підключення до бази даних та сортування для рядків стовпців), щоб він міг отримати правильне порівняння та сортування без урахування регістру.

Я зіткнувся з цією ж проблемою під час використання модуля Python MySQLdb. Оскільки MySQL дозволяє зберігати майже будь-які двійкові дані, які ви хочете, у текстовому полі, незалежно від набору символів, я знайшов своє рішення тут:

Використання UTF8 з Python MySQLdb

Редагувати: Цитата з наведеної вище URL-адреси, щоб задовольнити запит у першому коментарі ...

"UnicodeEncodeError: кодек 'latin-1' не може кодувати символ ..."

Це тому, що MySQLdb зазвичай намагається кодувати все до latin-1. Це можна виправити, виконавши наступні команди відразу після встановлення з’єднання:

db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')

"db" - результат MySQLdb.connect(), а "dbc" - результат db.cursor().

Найкраще рішення

1. встановіть для кодування mysql значення 'utf-8'

2. мені подобається цей коментар (додати use_unicode=Trueта charset="utf8")

   db = MySQLdb.connect (host = "localhost", user = "root", passwd = "", db = "testdb", use_unicode = True, charset = "utf8") - KyungHoon Кім, 13 березня '14 о 17:04

докладно див .:

class Connection(_mysql.connection):

    """MySQL Database Connection Object"""

    default_cursor = cursors.Cursor

    def __init__(self, *args, **kwargs):
        """

        Create a connection to the database. It is strongly recommended
        that you only use keyword parameters. Consult the MySQL C API
        documentation for more information.

        host
          string, host to connect

        user
          string, user to connect as

        passwd
          string, password to use

        db
          string, database to use

        port
          integer, TCP/IP port to connect to

        unix_socket
          string, location of unix_socket to use

        conv
          conversion dictionary, see MySQLdb.converters

        connect_timeout
          number of seconds to wait before the connection attempt
          fails.

        compress
          if set, compression is enabled

        named_pipe
          if set, a named pipe is used to connect (Windows only)

        init_command
          command which is run once the connection is created

        read_default_file
          file from which default client values are read

        read_default_group
          configuration group to use from the default file

        cursorclass
          class object, used to create cursors (keyword only)

        use_unicode
          If True, text-like columns are returned as unicode objects
          using the connection's character set.  Otherwise, text-like
          columns are returned as strings.  columns are returned as
          normal strings. Unicode objects will always be encoded to
          the connection's character set regardless of this setting.

        charset
          If supplied, the connection character set will be changed
          to this character set (MySQL-4.1 and newer). This implies
          use_unicode=True.

        sql_mode
          If supplied, the session SQL mode will be changed to this
          setting (MySQL-4.1 and newer). For more details and legal
          values, see the MySQL documentation.

        client_flag
          integer, flags to use or 0
          (see MySQL docs or constants/CLIENTS.py)

        ssl
          dictionary or mapping, contains SSL connection parameters;
          see the MySQL documentation for more details
          (mysql_ssl_set()).  If this is set, and the client does not
          support SSL, NotSupportedError will be raised.

        local_infile
          integer, non-zero enables LOAD LOCAL INFILE; zero disables

        autocommit
          If False (default), autocommit is disabled.
          If True, autocommit is enabled.
          If None, autocommit isn't set and server default is used.

        There are a number of undocumented, non-standard methods. See the
        documentation for the MySQL C API for some hints on what they do.

        """

Сподіваюсь, ваша база даних є принаймні UTF-8. Тоді вам потрібно буде запустити, yourstring.encode('utf-8')перш ніж спробувати помістити його в базу даних.

Ви намагаєтеся зберегти кодову \u201cточку Unicode, використовуючи кодування, ISO-8859-1 / Latin-1яке не може описати цю кодову точку . Або вам може знадобитися змінити базу даних, щоб вона використовувала utf-8, і зберігати рядкові дані, використовуючи відповідне кодування, або ви, можливо, захочете дезінфікувати свої вхідні дані перед зберіганням вмісту; тобто використовуючи щось на зразок чудового посібника i18n Сем Рубі . Це розповідає про проблеми, які windows-1252можуть спричинити, і пропонує як обробити це, а також посилання на зразок коду!

Користувачі SQLAlchemy можуть просто вказати своє поле як convert_unicode=True.

Приклад: sqlalchemy.String(1000, convert_unicode=True)

SQLAlchemy просто прийме об'єкти Unicode і поверне їх назад, обробляючи саме кодування.

Документи

Latin-1 (він же ISO 8859-1 ) - це схема кодування одного октету, і ви не можете вмістити \u201c( “) у байт.

Ви мали намір використовувати кодування UTF-8?

Використовуйте наведений нижче фрагмент, щоб перетворити текст з латинської на англійську

import unicodedata
def strip_accents(text):
    return "".join(char for char in
                   unicodedata.normalize('NFKD', text)
                   if unicodedata.category(char) != 'Mn')

strip_accents('áéíñóúü')

вихід:

"aeinouu"

Python: Вам потрібно буде додати # - * - кодування: UTF-8 - * - (видалити пробіли навколо *) до першого рядка файлу python. а потім додайте до тексту для кодування: .encode ('ascii', 'xmlcharrefreplace') . Це замінить всі символи Unicode на еквівалент ASCII.