Python: Видалення \ xa0 із рядка?

Наразі я використовую Beautiful Soup для розбору HTML-файлів та дзвінків get_text(), але, схоже, мені залишається багато \ xa0 Unicode, що представляє пробіли. Чи є ефективний спосіб видалити їх у Python 2.7 та змінити їх у пробіли? Я думаю, що більш узагальненим буде питання, чи є спосіб видалити форматування Unicode?

Я спробував використовувати: line = line.replace(u'\xa0',' ')як запропонував інший потік, але це змінило \ xa0's на u, тож тепер я маю "u" скрізь. ):

EDIT: Здається, цю проблему вирішує str.replace(u'\xa0', ' ').encode('utf-8'), але, мабуть, .encode('utf-8')без проблем replace()це може виплеснути навіть більш дивні символи, наприклад, xx2. Хтось може це пояснити?

\ xa0 - це фактично нерозривний простір у латинській1 (ISO 8859-1), також chr (160). Вам слід замінити пробіл.

string = string.replace(u'\xa0', u' ')

Коли .encode ('utf-8'), він буде кодувати unicode to utf-8, це означає, що кожен unicode може бути представлений 1 - 4 байтами. У цьому випадку \ xa0 представлений двома байтами \ xc2 \ xa0.

Читайте на http://docs.python.org/howto/unicode.html .

Зверніть увагу: цю відповідь, починаючи з 2012 року, Python перейшов, ви можете використовувати її вже unicodedata.normalizeзараз

У unicodedataбібліотеці Python є багато корисного . Однією з них є .normalize()функція.

Спробуйте:

new_str = unicodedata.normalize("NFKD", unicode_str)

Заміна NFKD будь-яким з інших способів, перелічених у посиланні вище, якщо ви не отримаєте результатів, за якими ви хочете.

Спробуйте використовувати .strip () в кінці рядка line.strip()добре для мене

Спробувавши кілька методів, підсумовуючи це, я це зробив. Нижче наведено два способи уникнення / видалення символів \ xa0 з проаналізованого рядка HTML.

Припустимо, у нас є сирий html наступним чином:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Тому давайте спробуємо очистити цей рядок HTML:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

Вищевказаний код створює ці символи \ xa0 у рядку. Щоб правильно їх видалити, ми можемо скористатися двома способами.

Спосіб №1 (рекомендується): Перший - метод get_text BeautifulSoup з аргументом смужки як True, то наш код стає:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Спосіб №2 . Інший варіант - використовувати бібліотеку python unicodedata

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

Я також детально описав ці методи в цьому блозі, на який ви можете посилатися.

спробуйте це:

string.replace('\\xa0', ' ')

Я зіткнувся з цією ж проблемою, витягуючи деякі дані з бази даних sqlite3 з python. Наведені вище відповіді не працювали для мене (не знаю чому), але це було так: line = line.decode('ascii', 'ignore')Однак моя мета - видалити \ xa0s, а не замінити їх пробілами.

Я отримав це з цього супер-корисного підручника з унікодом Неда Батчелдера.

Я закінчую тут, гуглюючи через проблему з недрукованим символом. Я використовую MySQL UTF-8 general_ciі маю справу з польською мовою. Для проблемних рядків я повинен прийняти наступне:

text=text.replace('\xc2\xa0', ' ')

Це просто швидке вирішення, і ви, ймовірно, повинні спробувати щось із правильним налаштуванням кодування.

Спробуйте цей код

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0 (Unicode) - 0xC2A0 в UTF-8. .encode('utf8')просто візьме ваш Unicode 0xA0 і замінить на 0xC2A0 UTF-8. Звідси поява 0xC2 ... Кодування не замінює, як ви, мабуть, зрозуміли зараз.

Це еквівалент космічного персонажа, тому зніміть його

print(string.strip()) # no more xa0

У Beautiful Soup ви можете передати get_text()параметр смужки, який позбавляє пробілу з початку та кінця тексту. Це видалить \xa0або будь-який інший пробіл, якщо він з’явиться на початку або в кінці рядка. Beautiful Soup замінив порожню рядок на, \xa0і це вирішило для мене проблему.

mytext = soup.get_text(strip=True)

Загальна версія з регулярним виразом (видалить усі контрольні символи):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Python розпізнає його як пробільний символ, тож ви можете splitбез аргументів і приєднатися до звичайного пробілу:

line = ' '.join(line.split())