Як я можу видалити символи, що не належать до ASCII, але залишити періоди та пробіли за допомогою Python?

Я працюю з файлом .txt. Я хочу, щоб рядок тексту з файла не містив символів, що не належать до ASCII. Однак я хочу залишити пробіли та періоди. В даний час я їх також знімаю. Ось код:

def onlyascii(char):
    if ord(char) < 48 or ord(char) > 127: return ''
    else: return char

def get_my_string(file_path):
    f=open(file_path,'r')
    data=f.read()
    f.close()
    filtered_data=filter(onlyascii, data)
    filtered_data = filtered_data.lower()
    return filtered_data

Як слід змінити onlyascii (), щоб залишити пробіли та періоди? Я думаю, що це не надто складно, але я не можу цього зрозуміти.

Ви можете відфільтрувати всі символи з рядка, який не можна друкувати , використовуючи string.printable , наприклад:

>>> s = "some\x00string. with\x15 funny characters"
>>> import string
>>> printable = set(string.printable)
>>> filter(lambda x: x in printable, s)
'somestring. with funny characters'

string.printable на моїй машині містить:

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~ \t\n\r\x0b\x0c

EDIT: На Python 3 фільтр поверне ітерабельний номер. Правильний спосіб повернути рядок назад:

''.join(filter(lambda x: x in printable, s))

Найпростіший спосіб перейти на інший кодек - це за допомогою encode () або decode (). У вашому випадку ви хочете перетворитись у ASCII та проігнорувати всі символи, які не підтримуються. Наприклад, шведська літера å не є символом ASCII:

    >>>s = u'Good bye in Swedish is Hej d\xe5'
    >>>s = s.encode('ascii',errors='ignore')
    >>>print s
    Good bye in Swedish is Hej d

Редагувати:

Python3: str -> bytes -> str

>>>"Hej då".encode("ascii", errors="ignore").decode()
'hej d'

Python2: unicode -> str -> unicode

>>> u"hej då".encode("ascii", errors="ignore").decode()
u'hej d'

Python2: str -> unicode -> str (декодує та кодує у зворотному порядку)

>>> "hej d\xe5".decode("ascii", errors="ignore").encode()
'hej d'

За словами @artfulrobot, це має бути швидше, ніж фільтр та лямбда:

re.sub(r'[^\x00-\x7f]',r'', your-non-ascii-string) 

Дивіться більше прикладів тут http://stackoverflow.com/questions/20078816/replace-non-ascii-characters-with-a-single-space/20079244#20079244

Ваше запитання неоднозначне; перші два речення, взяті разом, означають, що ви вважаєте, що пробіл та "період" - це символи, що не належать до ASCII. Це неправильно. Усі символи такі, що ord (char) <= 127 є символами ASCII. Наприклад, ваша функція виключає цих символів! "# $% & \ '() * +, -. /, Але включає декілька інших, наприклад [] {}.

Відійдіть, подумайте трохи та відредагуйте своє запитання, щоб сказати нам, що ви намагаєтеся зробити, не згадуючи слово ASCII, і чому ви вважаєте, що символи, такі як ord (char)> = 128, не враховують. Також: яка версія Python? Що таке кодування вхідних даних?

Зверніть увагу, що ваш код читає весь вхідний файл як один рядок, а ваш коментар ("чудове рішення") до іншої відповіді означає, що вам не байдуже новинки у ваших даних. Якщо ваш файл містить два рядки:

this is line 1
this is line 2

результат був би 'this is line 1this is line 2'... це те, що ти насправді хочеш?

Більш широке рішення буде включати:

1. краща назва функції фільтра, ніж onlyascii

2. визнання, що функції фільтра потрібно просто повернути триєдне значення, якщо аргумент потрібно зберегти:

   def filter_func(char):
       return char == '\n' or 32 <= ord(char) <= 126
   # and later:
   filtered_data = filter(filter_func, data).lower()

Ви можете використовувати такий код, щоб видалити неанглійські букви:

import re
str = "123456790 ABC#%? .(朱惠英)"
result = re.sub(r'[^\x00-\x7f]',r'', str)
print(result)

Це повернеться

123456790 ABC #%? . ()

Якщо ви хочете друкувати символи ascii, ви, ймовірно, повинні виправити свій код:

if ord(char) < 32 or ord(char) > 126: return ''

це еквівалентно string.printable(відповідь від @jterrace), за винятком відсутності повернень та вкладок ('\ t', '\ n', '\ x0b', '\ x0c' та '\ r'), але не відповідає діапазон вашого запитання

Попрацювати через Fluent Python (Ramalho) - дуже рекомендується. Перелічіть розуміння одного-лінійки, натхненого Главою 2:

onlyascii = ''.join([s for s in data if ord(s) < 127])
onlymatch = ''.join([s for s in data if s in
              'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'])