Повний набір розділових знаків для Python (не лише ASCII)

Чи є список чи бібліотека, де є всі розділові знаки, які ми зазвичай можемо зустріти?

Зазвичай я використовую string.punctuation, але деякі знаки пунктуації не включаються до нього, наприклад:

>>> "'" in string.punctuation
True
>>> "’" in string.punctuation
False

Ви можете зробити це краще за допомогою цієї перевірки:

>>> import unicodedata
>>> unicodedata.category("'").startswith("P")
True
>>> unicodedata.category("’").startswith("P")
True

Категорії Unicode P * призначені спеціально для пунктуації :

з'єднувач (Pc), тире (Pd), початкова цитата (Pi), кінцева цитата (Pf), відкрита (Ps), закрита (Pe), інша (Po)

Щоб підготувати вичерпний збірник, який згодом ви можете використовувати для швидких перевірок членства, використовуйте набір розуміння:

>>> import sys
>>> from unicodedata import category
>>> codepoints = range(sys.maxunicode + 1)
>>> punctuation = {c for i in codepoints if category(c := chr(i)).startswith("P")}
>>> "'" in punctuation
True
>>> "’" in punctuation
True

Вираз присвоєння тут вимагає Python 3.8+, що еквівалентно старішим версіям Python:

chrs = (chr(i) for i in range(sys.maxunicode + 1))
punctuation = set(c for c in chrs if category(c).startswith("P"))

Слідкуйте за тим, що деякі інші символи string.punctuationнасправді знаходяться в категорії символу Unicode . Додайте їх також, якщо хочете.

Відповідь, розміщена wim, є правильною, якщо ви хочете перевірити, чи символ є розділовим символом.

Якщо вам справді потрібен список усіх знаків пунктуації, як підказує назва вашої запитання, ви можете скористатися наступним:

import sys
from unicodedata import category
punctuation_chars =  [chr(i) for i in range(sys.maxunicode) 
                             if category(chr(i)).startswith("P")]

Відповідь wim чудова, якщо ви можете змінити свій код, щоб використовувати функцію.

Але якщо вам доведеться скористатися inоператором (наприклад, ви телефонуєте в код бібліотеки), ви можете використовувати введення качки:

import unicodedata
class DuckType:
    def __contains__(self,s):
        return unicodedata.category(s).startswith("P")
punct=DuckType()
#print("'" in punct,'"' in punct,"a" in punct)

Це здається гарною роботою для регулярного виразу (regexp):

    import re
    text = re.sub(r"[^\w\s]", "", str(text), flags=re.UNICODE)

Тут регулярне вираження відповідає всім, крім пробілів або символів слова. Прапор re.UNICODEвикористовується для узгодження повного набору символів Unicode.

Як вказували інші відповіді, спосіб зробити це через властивості / категорії Unicode. Прийнята відповідь отримує доступ до цієї інформації через стандартний unicodedataмодуль бібліотеки , але залежно від контексту, де вам це потрібно, може бути швидше або зручніше отримати доступ до цієї самої інформації властивості, використовуючи регулярні вирази.

Однак стандартний reмодуль бібліотеки не забезпечує розширену підтримку Unicode. Для цього вам потрібен regexмодуль , доступний на PyPI ( pip install regex):

>>> import regex as re
>>> re.match("\p{Punctuation}", "'")
<regex.Match object; span=(0, 1), match="'">
>>> re.match("\p{Punctuation}", "’")
<regex.Match object; span=(0, 1), match='’'>

Огляд хороший з усіх різних видів властивостей Unicode можна виконати пошук з використанням регулярних виразів забезпечуються тут . Крім цих додаткових функцій регулярного вираження, які задокументовані на його домашній сторінці PyPI, regexнавмисно надається той самий API, що й re, тому ви, як очікується, використовуєте reдокументацію, щоб з'ясувати, як використовувати будь-який з них.