UnicodeDecodeError: 'utf8' кодек не може розшифрувати байт 0xa5 в позиції 0: недійсний стартовий байт

Я використовую Python-2.6 CGIсценарії, але виявив цю помилку в журналі журналу сервера json.dumps(),

Traceback (most recent call last):
  File "/etc/mongodb/server/cgi-bin/getstats.py", line 135, in <module>
    print json.dumps(​​__get​data())
  File "/usr/lib/python2.7/json/__init__.py", line 231, in dumps
    return _default_encoder.encode(obj)
  File "/usr/lib/python2.7/json/encoder.py", line 201, in encode
    chunks = self.iterencode(o, _one_shot=True)
  File "/usr/lib/python2.7/json/encoder.py", line 264, in iterencode
    return _iterencode(o, 0)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xa5 in position 0: invalid start byte

Ось

​__get​data()функція повертається dictionary {}.

Перш ніж надсилати це питання, я передавав це питання os SO.

ОНОВЛЕННЯ

Наступний рядок шкодить кодеру JSON,

now = datetime.datetime.now()
now = datetime.datetime.strftime(now, '%Y-%m-%dT%H:%M:%S.%fZ')
print json.dumps({'current_time': now}) // this is the culprit

Я отримав це тимчасове виправлення

print json.dumps( {'old_time': now.encode('ISO-8859-1').strip() })

Але я не впевнений, чи правильно це зробити.

Помилка полягає в тому, що в словнику є деякі символи, які не є ascii, і його неможливо закодувати / декодувати. Один простий спосіб уникнути цієї помилки - це кодування таких рядків з encode()функцією наступним чином (якщо aце рядок з символом не-ascii):

a.encode('utf-8').strip()

Я переключив це просто, визначивши інший пакет кодеків у read_csv()команді:

encoding = 'unicode_escape'

Наприклад:

import pandas as pd
data = pd.read_csv(filename, encoding= 'unicode_escape')

Спробуйте наведений нижче фрагмент коду:

with open(path, 'rb') as f:
  text = f.read()

У вашій рядку asciiзакодовано не символ.

Якщо неможливо розшифрувати, це utf-8може статися, якщо вам потрібно було використовувати інші кодування у вашому коді. Наприклад:

>>> 'my weird character \x96'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\encodings\utf_8.py", line 16, in decode
    return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0x96 in position 19: invalid start byte

У цьому випадку кодування windows-1252так, що вам потрібно зробити:

>>> 'my weird character \x96'.decode('windows-1252')
u'my weird character \u2013'

Тепер, коли у вас є Unicode, ви можете сміливо кодувати utf-8.

Після читання csvя додав метод кодування:

import pandas as pd
dataset = pd.read_csv('sample_data.csv', header= 0,
                        encoding= 'unicode_escape')

Встановіть кодер за замовчуванням у верхній частині коду

import sys
reload(sys)
sys.setdefaultencoding("ISO-8859-1")

Станом на 2018-05 рр. Це вирішується безпосередньо decode, принаймні для Python 3 .

Я використовую фрагмент нижче для помилок invalid start byteі invalid continuation byteвведіть. Додавання errors='ignore'виправлено для мене.

with open(out_file, 'rb') as f:
    for line in f:
        print(line.decode(errors='ignore'))

Натхненний @aaronpenne та @Soumyaansh

f = open("file.txt", "rb")
text = f.read().decode(errors='replace')

Це рішення працювало для мене:

import pandas as pd
data = pd.read_csv("training.csv", encoding = 'unicode_escape')

Просте рішення:

import pandas as pd
df = pd.read_csv('file_name.csv', engine='python')

Наступний рядок шкодить кодеру JSON,

now = datetime.datetime.now()
now = datetime.datetime.strftime(now, '%Y-%m-%dT%H:%M:%S.%fZ')
print json.dumps({'current_time': now}) // this is the culprit

Я отримав це тимчасове виправлення

print json.dumps( {'old_time': now.encode('ISO-8859-1').strip() })

Позначення цього як правильне як тимчасове виправлення (Не впевнений, що так).

Якщо вищезгадані методи не працюють для вас, можливо, вам захочеться вивчити зміну кодування самого файлу csv.

Використання Excel:

1. Відкрийте файл CSV за допомогою Excel
2. Перейдіть до параметра "Меню файлу" та натисніть "Зберегти як"
3. Клацніть «Огляд», щоб вибрати місце для збереження файлу
4. Введіть призначене ім'я файлу
5. Виберіть опцію CSV (розділена комою) (* .csv)
6. Клацніть спадне меню "Інструменти" та натисніть "Веб-параметри"
7. На вкладці "Кодування" виберіть параметр Unicode (UTF-8) зі спадного списку "Зберегти цей документ як".
8. Збережіть файл

Використання блокнота:

1. Відкрийте файл CSV за допомогою блокнота
2. Перейдіть до пункту "Файл"> "Зберегти як"
3. Далі виберіть розташування до файлу
4. Виберіть опцію Зберегти як тип як Усі файли ( . )
5. Вкажіть ім'я файлу з розширенням .csv
6. У спадному списку "Кодування" виберіть параметр UTF-8.
7. Клацніть Зберегти, щоб зберегти файл

Роблячи це, ви зможете імпортувати файли CSV, не стикаючись з UnicodeCodeError.

Спробувавши всі вищезгадані способи вирішення, якщо він все-таки видає ту саму помилку, ви можете спробувати експортувати файл як CSV (вдруге, якщо у вас вже є). Особливо, якщо ви використовуєте scikit learn, найкраще імпортувати набір даних у вигляді файлу CSV.

Я провів години разом, тоді як рішення було таким простим. Експортуйте файл у вигляді CSV у каталог, де встановлено Anaconda або ваші інструменти класифікатора, і спробуйте.

Ви можете використовувати будь-яке стандартне кодування вашого конкретного використання та вводу.

utf-8 є типовим.

iso8859-1 також популярний для Західної Європи.

наприклад: bytes_obj.decode('iso8859-1')

див .: док

Замість того, щоб шукати способи розшифровки a5 (Yen ¥) або 96 (en-dash –), скажіть MySQL, що ваш клієнт закодований "latin1", але ви хочете "utf8" в базі даних.

Дивіться деталі в « Проблема» з символами UTF-8; те, що я бачу, - це не те, що я зберігав