Видалення недрукованих символів із рядка в python

Я звик бігати

$s =~ s/[^[:print:]]//g;

на Perl, щоб позбутися недрукованих символів.

У Python немає класів регулярних виразів POSIX, і я не можу писати [: print:], якщо це означає те, що я хочу. Я не знаю жодного способу в Python виявити, чи можна друкувати символ.

Що б ти зробив?

EDIT: Він також повинен підтримувати символи Unicode. Шлях string.printable щасливо позбавить їх вихідних даних. curses.ascii.isprint поверне значення false для будь-якого символу Unicode.

На жаль, ітерація рядків у Python відбувається досить повільно. Регулярні вирази для цього типу на порядок швидші. Вам просто потрібно побудувати клас персонажів самостійно. Для цього дуже корисний модуль unicodedata , особливо функція unicodedata.category () . Див бази даних символів Unicode для опису категорій.

import unicodedata, re, itertools, sys

all_chars = (chr(i) for i in range(sys.maxunicode))
categories = {'Cc'}
control_chars = ''.join(c for c in all_chars if unicodedata.category(c) in categories)
# or equivalently and much more efficiently
control_chars = ''.join(map(chr, itertools.chain(range(0x00,0x20), range(0x7f,0xa0))))

control_char_re = re.compile('[%s]' % re.escape(control_chars))

def remove_control_chars(s):
    return control_char_re.sub('', s)

Для Python2

import unicodedata, re, sys

all_chars = (unichr(i) for i in xrange(sys.maxunicode))
categories = {'Cc'}
control_chars = ''.join(c for c in all_chars if unicodedata.category(c) in categories)
# or equivalently and much more efficiently
control_chars = ''.join(map(unichr, range(0x00,0x20) + range(0x7f,0xa0)))

control_char_re = re.compile('[%s]' % re.escape(control_chars))

def remove_control_chars(s):
    return control_char_re.sub('', s)

У деяких випадках використання додаткові категорії (наприклад, усі з контрольної групи можуть бути кращими, хоча це може сповільнити час обробки та значно збільшити використання пам'яті. Кількість символів у категорії:

• Cc (контроль): 65
• Cf (формат): 161
• Cs (сурогат): 2048
• Co (приватне використання): 137468
• Cn (без призначення): 836601

Редагувати Додавання пропозицій із коментарів.

Наскільки мені відомо, найбільш пітонічним / ефективним методом буде:

import string

filtered_string = filter(lambda x: x in string.printable, myStr)

Ви можете спробувати налаштувати фільтр за допомогою unicodedata.category()функції:

import unicodedata
printable = {'Lu', 'Ll'}
def filter_non_printable(str):
  return ''.join(c for c in str if unicodedata.category(c) in printable)

Див. Таблицю 4-9 на сторінці 175 у властивостях символів бази даних Unicode щодо доступних категорій

У Python 3,

def filter_nonprintable(text):
    import itertools
    # Use characters of control category
    nonprintable = itertools.chain(range(0x00,0x20),range(0x7f,0xa0))
    # Use translate to remove all non-printable characters
    return text.translate({character:None for character in nonprintable})

Дивіться цей допис StackOverflow про видалення знаків пунктуації щодо порівняння .translate () із регулярним виразом & .replace ()

Діапазони можуть бути сформовані за nonprintable = (ord(c) for c in (chr(i) for i in range(sys.maxunicode)) if unicodedata.category(c)=='Cc')допомогою категорій баз даних символів Unicode, як показано @Ants Aasma.

Далі буде працювати з введенням Unicode і досить швидко ...

import sys

# build a table mapping all non-printable characters to None
NOPRINT_TRANS_TABLE = {
    i: None for i in range(0, sys.maxunicode + 1) if not chr(i).isprintable()
}

def make_printable(s):
    """Replace non-printable characters in a string."""

    # the translate method on str removes characters
    # that map to None from the string
    return s.translate(NOPRINT_TRANS_TABLE)


assert make_printable('Café') == 'Café'
assert make_printable('\x00\x11Hello') == 'Hello'
assert make_printable('') == ''

Моє власне тестування припускає, що такий підхід швидший, ніж функції, які перебирають рядок і повертають результат за допомогою str.join.

Ця функція використовує розуміння списку та str.join, тому працює в лінійний час замість O (n ^ 2):

from curses.ascii import isprint

def printable(input):
    return ''.join(char for char in input if isprint(char))

Ще один варіант у python 3:

re.sub(f'[^{re.escape(string.printable)}]', '', my_string)

Найкраще, що я придумав зараз, - це (завдяки пітон-Айзерам вище)

def filter_non_printable(str):
  return ''.join([c for c in str if ord(c) > 31 or ord(c) == 9])

Це єдиний спосіб, який я дізнався, що працює з символами / рядками Unicode

Є якісь кращі варіанти?

Той, що нижче, працює швидше, ніж інші вище. Поглянь

''.join([x if x in string.printable else '' for x in Str])

У Python немає класів регулярних виразів POSIX

Є при використанні regex бібліотеки є: https://pypi.org/project/regex/

Він добре підтримується і підтримує регулярний вираз Unicode, регулярний вираз Posix та багато інших. Використання (підписи методів) є дуже схоже на використання Pythonre .

З документації:

[[:alpha:]]; [[:^alpha:]]

Підтримуються класи символів POSIX. Вони зазвичай розглядаються як альтернативна форма\p{...} .

(Я не афілійований, лише користувач.)

На основі відповіді @ Ber пропоную видалити лише контрольні символи, визначені в категоріях баз даних символів Unicode :

import unicodedata
def filter_non_printable(s):
    return ''.join(c for c in s if not unicodedata.category(c).startswith('C'))

Щоб видалити "пробіли",

import re
t = """
\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>
"""
pat = re.compile(r'[\t\n]')
print(pat.sub("", t))

Адаптовано з відповідей Антса Асми та Шонрад :

nonprintable = set(map(chr, list(range(0,32)) + list(range(127,160))))
ord_dict = {ord(character):None for character in nonprintable}
def filter_nonprintable(text):
    return text.translate(ord_dict)

#use
str = "this is my string"
str = filter_nonprintable(str)
print(str)

протестовано на Python 3.7.7