Замініть символи, що не належать до ASCII, одним пробілом

Мені потрібно замінити всі символи, що не належать до ASCII (\ x00- \ x7F), пробілом. Я здивований, що це не просто мертво в Python, якщо я щось не пропускаю. Наступна функція просто видаляє всі символи, що не належать до ASCII:

def remove_non_ascii_1(text):

    return ''.join(i for i in text if ord(i)<128)

І цей символ замінює символи, що не належать до ASCII, на кількість пробілів відповідно до кількості байтів у кодовій точці символів (тобто –символ замінюється на 3 пробіли):

def remove_non_ascii_2(text):

    return re.sub(r'[^\x00-\x7F]',' ', text)

Як я можу замінити всі символи, що не належать до ASCII, одним пробілом?

З за незліченної з подібних SO питань , жоден адреса символів заміни в протилежність до зачистки , і додатково звернутися до всім не-ASCII символи не конкретний характер.

Ваше ''.join()вираження фільтрує , видаляючи все, що не належить до ASCII; ви можете замість цього використовувати умовний вираз:

return ''.join([i if ord(i) < 128 else ' ' for i in text])

Це обробляє символів один за одним і все одно використовуватиме пробіл на кожний символ, що заміняється.

Ваш регулярний вираз повинен просто замінити послідовні символи, що не належать до ASCII, пробілом:

re.sub(r'[^\x00-\x7F]+',' ', text)

Зверніть увагу на +там.

Для вас максимально схоже представлення оригінального рядка, я рекомендую модуль unidecode :

from unidecode import unidecode
def remove_non_ascii(text):
    return unidecode(unicode(text, encoding = "utf-8"))

Потім ви можете використовувати його в рядку:

remove_non_ascii("Ceñía")
Cenia

Для обробки символів використовуйте рядки Unicode:

PythonWin 3.3.0 (v3.3.0:bd8afb90ebf2, Sep 29 2012, 10:57:17) [MSC v.1600 64 bit (AMD64)] on win32.
>>> s='ABC马克def'
>>> import re
>>> re.sub(r'[^\x00-\x7f]',r' ',s)   # Each char is a Unicode codepoint.
'ABC  def'
>>> b = s.encode('utf8')
>>> re.sub(rb'[^\x00-\x7f]',rb' ',b) # Each char is a 3-byte UTF-8 sequence.
b'ABC      def'

Але зауважте, у вас все ще виникне проблема, якщо ваша рядок містить розкладені символи Unicode (наприклад, окремі символи та комбінуючі знаки наголосу):

>>> s = 'mañana'
>>> len(s)
6
>>> import unicodedata as ud
>>> n=ud.normalize('NFD',s)
>>> n
'mañana'
>>> len(n)
7
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # single codepoint
'ma ana'
>>> re.sub(r'[^\x00-\x7f]',r' ',n) # only combining mark replaced
'man ana'

Якщо символом заміни може бути "?" замість пробілу я запропонував би result = text.encode('ascii', 'replace').decode():

"""Test the performance of different non-ASCII replacement methods."""


import re
from timeit import timeit


# 10_000 is typical in the project that I'm working on and most of the text
# is going to be non-ASCII.
text = 'Æ' * 10_000


print(timeit(
    """
result = ''.join([c if ord(c) < 128 else '?' for c in text])
    """,
    number=1000,
    globals=globals(),
))

print(timeit(
    """
result = text.encode('ascii', 'replace').decode()
    """,
    number=1000,
    globals=globals(),
))

Результати:

0.7208260721400134
0.009975979187503592

Як щодо цього?

def replace_trash(unicode_string):
     for i in range(0, len(unicode_string)):
         try:
             unicode_string[i].encode("ascii")
         except:
              #means it's non-ASCII
              unicode_string=unicode_string[i].replace(" ") #replacing it with a single space
     return unicode_string

Як власний і ефективний підхід, вам не потрібно використовувати ordабо будь-який цикл над символами. Просто кодуйте asciiі ігноруйте помилки.

Далі просто буде видалено символи, які не мають права:

new_string = old_string.encode('ascii',errors='ignore')

Тепер, якщо ви хочете замінити видалені символи, просто виконайте наступне:

final_string = new_string + b' ' * (len(old_string) - len(new_string))

Можливо, для іншого питання, але я надаю свою версію відповіді @ Alvero (використовуючи unidecode). Я хочу зробити "звичайну" смужку на моїх рядках, тобто початок і кінець рядка для символів пробілу, а потім замінити лише інші символи пробілу на "регулярний" пробіл, тобто

"Ceñíaㅤmañanaㅤㅤㅤㅤ"

до

"Ceñía mañana"

,

def safely_stripped(s: str):
    return ' '.join(
        stripped for stripped in
        (bit.strip() for bit in
         ''.join((c if unidecode(c) else ' ') for c in s).strip().split())
        if stripped)

Спочатку замінюємо всі простори без унікоду звичайним пробілом (і знову приєднуємо його),

''.join((c if unidecode(c) else ' ') for c in s)

А потім ми розділимо це знову, звичайним розщепленням пітона, і знімемо кожен "шматочок",

(bit.strip() for bit in s.split())

І нарешті, знову приєднайтесь до них, але лише якщо рядок пройде ifтест,

' '.join(stripped for stripped in s if stripped)

І з цим safely_stripped('ㅤㅤㅤㅤCeñíaㅤmañanaㅤㅤㅤㅤ')правильно повертається 'Ceñía mañana'.