UnicodeEncodeError: кодек "charmap" не може кодувати символи

Я намагаюся скребти веб-сайт, але це дає мені помилку.

Я використовую такий код:

import urllib.request
from bs4 import BeautifulSoup

get = urllib.request.urlopen("https://www.website.com/")
html = get.read()

soup = BeautifulSoup(html)

print(soup)

І я отримую таку помилку:

File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined>

Що я можу зробити, щоб це виправити?

Я отримував те саме, UnicodeEncodeErrorзберігаючи скребковий веб-вміст у файл. Щоб виправити це, я замінив цей код:

with open(fname, "w") as f:
    f.write(html)

з цим:

import io
with io.open(fname, "w", encoding="utf-8") as f:
    f.write(html)

Використання ioдає вам зворотну сумісність із Python 2.

Якщо вам потрібно лише підтримувати Python 3, ви можете скористатися вбудованою openфункцією:

with open(fname, "w", encoding="utf-8") as f:
    f.write(html)

Я виправив це, додавши .encode("utf-8")в soup.

Це означає, що print(soup)стає print(soup.encode("utf-8")).

У Python 3.7 та під керуванням Windows 10 це спрацювало (я не впевнений, чи буде він працювати на інших платформах та / або інших версіях Python)

Заміна цього рядка:

with open('filename', 'w') as f:

З цим:

with open('filename', 'w', encoding='utf-8') as f:

Причина, по якій він працює, полягає в тому, що кодування змінюється на UTF-8 при використанні файлу, тому символи в UTF-8 можуть бути перетворені в текст, а не повертати помилку, коли він стикається з символом UTF-8, тобто не підтримується поточним кодуванням.

Під час збереження відповіді на запит на отримання, та сама помилка була закинута на Python 3.7 у вікні 10. Відповідь, отримана з URL-адреси, кодування була UTF-8, тому завжди рекомендується перевірити кодування, щоб те саме було передано, щоб уникнути такої тривіальної проблеми оскільки це справді вбиває багато часу на виробництві

import requests
resp = requests.get('https://en.wikipedia.org/wiki/NIFTY_50')
print(resp.encoding)
with open ('NiftyList.txt', 'w') as f:
    f.write(resp.text)

Коли я додав encoding = "utf-8" за допомогою команди open, вона зберегла файл з правильною відповіддю

with open ('NiftyList.txt', 'w', encoding="utf-8") as f:
    f.write(resp.text)

Навіть я зіткнувся з тією ж проблемою з кодуванням, яке виникає, коли ви намагаєтеся надрукувати його, прочитати / написати або відкрити. Як згадували інші, додавання .encoding = "utf-8" допоможе, якщо ви намагаєтеся роздрукувати його.

суп.код ("utf-8")

Якщо ви намагаєтесь відкрити скребковані дані і, можливо, записати їх у файл, тоді відкрийте файл із (......, encoding = "utf-8")

з відкритим (filename_csv, 'w', newline = '', encoding = "utf-8") як csv_file:

Для тих, хто все ще отримує цю помилку, додавання encode("utf-8")до soupтакож виправить цю помилку .

soup = BeautifulSoup(html_doc, 'html.parser').encode("utf-8")
print(soup)