UnicodeDecodeError: 'utf8' кодек не може розшифрувати байт 0x9c

У мене є сервер сокет, який повинен приймати дійсні символи UTF-8 від клієнтів.

Проблема полягає в тому, що деякі клієнти (в основному хакери) надсилають через нього всі неправильні види даних.

Я можу легко відрізнити справжнього клієнта, але я реєструю у файлах усі надіслані дані, щоб потім проаналізувати його.

Іноді я отримую таких персонажів, œякі викликають UnicodeDecodeErrorпомилку.

Мені потрібно вміти робити рядок UTF-8 з цими символами або без них.

Оновлення:

У моєму конкретному випадку послуга сокета була MTA, і тому я очікую лише отримання команд ASCII, таких як:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

Я все це записував у JSON.

Потім деякі люди без добрих намірів вирішили продати всілякі барахли.

Ось чому для мого конкретного випадку цілком нормально знімати символи, що не належать до ASCII.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

або

str = unicode(str, errors='ignore')

Примітка. Це усуне (проігнорує) символи, про які йдеться, повертаючи рядок без них.

Для мене це ідеальний випадок, оскільки я використовую його як захист від входу, який не є ASCII, що заборонено моєю програмою.

Як варіант: Використовуйте відкритий метод з codecsмодуля для читання у файлі:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Зміна двигуна з C на Python зробила для мене трюк.

Двигун C:

pd.read_csv(gdp_path, sep='\t', engine='c')

"utf-8" кодек не може розшифрувати байт 0x92 у позиції 18: недійсний початковий байт

Двигун - Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

Немає помилок для мене.

Цей тип випуску урожаю для мене тепер, коли я перейшов на Python 3. Я поняття не мав, що Python 2 просто прокручує будь-які проблеми з кодуванням файлів.

Я знайшов це приємне пояснення відмінностей і як знайти рішення після того, як жодне з перерахованого вище не працювало для мене.

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

Коротше кажучи, щоб змусити Python 3 поводитись максимально схоже на використання Python 2:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

Однак, прочитайте статтю, не існує жодного розміру, який підходить для кожного рішення.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

У мене була UnicodeDecodeErrorтака ж проблема, і я вирішив її за допомогою цієї лінії. Не знаю, чи це найкращий спосіб, але це працювало для мене.

str = str.decode('unicode_escape').encode('utf-8')

Перше, використовуючи get_encoding_type для отримання типу файлів коду:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

друге, відкриття файлів типу:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

Про всяк випадок, якщо хтось має таку ж проблему. Я використовую vim з YouCompleteMe , не вдалося запустити ycmd з цим повідомленням про помилку, що я зробив: це export LC_CTYPE="en_US.UTF-8", проблема зникла.

Що ви можете зробити, якщо вам потрібно внести зміни у файл, але не знаєте кодування файлу? Якщо ви знаєте, що кодування сумісне з ASCII і хочете лише вивчити або змінити частини ASCII, ви можете відкрити файл за допомогою обробника помилок сурогатного пейзажу:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

Я вирішив цю проблему, просто додавши

df = pd.read_csv(fileName,encoding='latin1')