Як перевірити, чи є рядок в Python в ASCII?

Я хочу перевірити, чи є рядок в ASCII чи ні.

Я знаю ord(), але коли я намагаюся ord('é'), я маю TypeError: ord() expected a character, but string of length 2 found. Я зрозумів, що це викликано тим, як я побудував Python (як це пояснено в ord()російській документації ).

Чи є інший спосіб перевірити?

def is_ascii(s):
    return all(ord(c) < 128 for c in s)

Я думаю, ви не ставите правильного питання ...

Рядок у python не має властивості, що відповідає 'ascii', utf-8 або будь-якому іншому кодуванню. Джерело вашої рядка (чи читаєте ви її з файлу, введення з клавіатури тощо), можливо, закодувало рядок Unicode в ascii для створення вашої рядка, але саме там вам потрібно відповісти.

Можливо, питання, яке ви можете задати, таке: "Чи є цей рядок результатом кодування рядка unicode в ascii?" - На це ви можете відповісти, спробувавши:

try:
    mystring.decode('ascii')
except UnicodeDecodeError:
    print "it was not a ascii-encoded unicode string"
else:
    print "It may have been an ascii-encoded unicode string"

Python 3 спосіб:

isascii = lambda s: len(s) == len(s.encode())

Для перевірки пройдіть тестову рядок:

str1 = "♥O◘♦♥O◘♦"
str2 = "Python"

print(isascii(str1)) -> will return False
print(isascii(str2)) -> will return True

Нове в Python 3.7 ( bpo32677 )

Більше не стомлююча / неефективна перевірка ascii на струнах, новий вбудований str/ bytes/ bytearrayметод - .isascii()перевірять, чи є рядки ascii.

print("is this ascii?".isascii())
# True

Нещодавно наткнувся на щось подібне - для подальшого ознайомлення

import chardet

encoding = chardet.detect(string)
if encoding['encoding'] == 'ascii':
    print 'string is in ascii'

якими ви можете скористатися:

string_ascii = string.decode(encoding['encoding']).encode('ascii')

Вінсент Марчетті має правильну ідею, але str.decodeв Python 3. був застарілий. У Python 3 ви можете зробити те ж тест із str.encode:

try:
    mystring.encode('ascii')
except UnicodeEncodeError:
    pass  # string is not ascii
else:
    pass  # string is ascii

Зауважте, виняток, який ви хочете зловити, також змінився з UnicodeDecodeErrorна UnicodeEncodeError.

Ваше запитання невірно; помилка, яку ви бачите, є не результатом того, як ви створили python, а плутаниною між байтовими рядками та рядками unicode.

Рядки байтів (наприклад, "foo" або "bar" у синтаксисі python) - це послідовності октетів; числа від 0-255. Рядки Unicode (наприклад, u "foo" або u'bar ') - це послідовності точок коду Unicode; числа від 0-1112064. Але вам здається, що вас цікавить символ é, який (у вашому терміналі) є багатобайтовою послідовністю, що представляє один символ.

Замість цього ord(u'é')спробуйте:

>>> [ord(x) for x in u'é']

Це говорить про те, яку послідовність кодових точок "é" представляє. Він може дати вам [233], а може дати вам [101, 770].

Замість того, chr()щоб скасувати це, є unichr():

>>> unichr(233)
u'\xe9'

Цей символ насправді може бути представлений або однією, або декількома "кодовими точками" унікоду, які самі по собі представляють або графеми, або символи. Це або "e з гострим наголосом (тобто, кодова точка 233)", або "e" (кодова точка 101), а потім "гострий наголос на попередньому символі" (код 770). Тож цей точно такий же символ може бути представлений як структура даних Python u'e\u0301'абоu'\u00e9' .

Більшу частину часу вам не доведеться дбати про це, але це може стати проблемою, якщо ви перебираєте рядок Unicode, оскільки ітерація працює за кодовою точкою, а не за символом, який можна розкласти. Іншими словами, len(u'e\u0301') == 2і len(u'\u00e9') == 1. Якщо це має значення для вас, ви можете конвертувати між складеними та розкладеними формами, використовуючи unicodedata.normalize.

Глосарій Unicode може бути корисним посібником для розуміння деяких із цих питань, вказавши, як кожний конкретний термін відноситься до іншої частини подання тексту, що набагато складніше, ніж розуміють багато програмістів.

Як щодо цього робити?

import string

def isAscii(s):
    for c in s:
        if c not in string.ascii_letters:
            return False
    return True

Я знайшов це питання, намагаючись визначити, як використовувати / кодувати / декодувати рядок, в кодуванні якого я не був впевнений (і як уникнути / перетворити спеціальні символи в цій рядку).

Першим моїм кроком повинна була перевірити тип рядка - я не розумів, що я можу отримати хороші дані про його форматування від типів (типів). Ця відповідь була дуже корисною і дістала справжній корінь моїх питань.

Якщо ти стаєш грубим і наполегливим

UnicodeDecodeError: кодек "ascii" не може декодувати байт 0xc3 в положенні 263: порядковий не знаходиться в діапазоні (128)

особливо коли ви кодуєте, переконайтеся, що ви не намагаєтесь unicode () рядок, яка вже є unicode - з якоїсь жахливої ​​причини ви отримуєте помилки кодека ascii. (Див. Також рецепт кухні Python , і документи Python навчальні посібники для для кращого розуміння того, наскільки це може бути жахливо.)

Врешті-решт я визначив, що те, що я хотів зробити, це:

escaped_string = unicode(original_string.encode('ascii','xmlcharrefreplace'))

Також корисно в налагодженні було встановлення кодування за замовчуванням у моєму файлі на utf-8 (поставити це на початку вашого файлу python):

# -*- coding: utf-8 -*-

Це дозволяє протестувати спеціальні символи ('àéç'), не використовуючи їхні унікоди. (U '\ xe0 \ xe9 \ xe7').

>>> specials='àéç'
>>> specials.decode('latin-1').encode('ascii','xmlcharrefreplace')
'àéç'

Для вдосконалення рішення Олександра з Python 2.6 (і в Python 3.x) ви можете використовувати допоміжний модуль curses.ascii та використовувати функцію curses.ascii.isascii () або інші: https://docs.python.org/2.6/ бібліотека / curses.ascii.html

from curses import ascii

def isascii(s):
    return all(ascii.isascii(c) for c in s)

Ви можете використовувати бібліотеку регулярних виразів, яка приймає стандарт Posix [[: ASCII:]].

Sting ( str-тип) у Python - це ряд байтів. Немає способу сказати лише з погляду на рядок, чи представляє ця серія байтів рядок Ascii, рядок у 8-бітовій діаграмі типу ISO-8859-1 або рядок, закодований з UTF-8 або UTF-16 чи будь-яким іншим .

Однак якщо ви знаєте використовуване кодування, ви можете decodeввести рядок у рядок unicode, а потім скористатися регулярним виразом (або циклом), щоб перевірити, чи містить символи поза діапазону, який вас хвилює.

Як @ RogerDahl в відповідь , але це більш ефективно короткого замикання, заперечуючи клас символів і з допомогою пошуку замість find_allабо match.

>>> import re
>>> re.search('[^\x00-\x7F]', 'Did you catch that \x00?') is not None
False
>>> re.search('[^\x00-\x7F]', 'Did you catch that \xFF?') is not None
True

Я думаю, що регулярний вираз для цього добре оптимізований.

import re

def is_ascii(s):
    return bool(re.match(r'[\x00-\x7F]+$', s))

Щоб включити порожній рядок як ASCII, змініть +на *.

Щоб уникнути збоїв у вашому коді, можливо, ви хочете використовувати a try-exceptcatchTypeErrors

>>> ord("¶")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: ord() expected a character, but string of length 2 found

Наприклад

def is_ascii(s):
    try:
        return all(ord(c) < 128 for c in s)
    except TypeError:
        return False

Я використовую наступне, щоб визначити, чи є рядок ascii чи unicode:

>> print 'test string'.__class__.__name__
str
>>> print u'test string'.__class__.__name__
unicode
>>> 

Тоді просто використовуйте умовний блок для визначення функції:

def is_ascii(input):
    if input.__class__.__name__ == "str":
        return True
    return False