Я прошу підрахувати всі можливі допустимі комбінації в Unicode з поясненнями. Я знаю, що символ може бути закодований як 1,2,3 або 4 байти. Я також не розумію, чому в байтах продовження є обмеження, хоча початковий байт цього символу очищає, як довго він повинен бути.
Відповіді:
Я прошу підрахувати всі можливі допустимі комбінації в Unicode з поясненнями.
1111 998 : 17 літаків × 65 536 символів на літак - 2048 сурогатів - 66 несимволів
Зверніть увагу, що UTF-8 та UTF-32 теоретично можуть кодувати набагато більше 17 площин, але дальність дії обмежена на основі обмежень кодування UTF-16 .
В Unicode 12.1 насправді призначено 137 929 кодових точок .
Я також не розумію, чому в байтах продовження є обмеження, хоча початковий байт цього символу очищає, як довго він повинен бути.
Метою цього обмеження в UTF-8 є зробити кодування самосинхронізуючимся .
Для контрприкладу розглянемо китайське кодування GB 18030 . Там буква ßпредставлена у вигляді послідовності байтів 81 30 89 38, яка містить кодування цифр 0та 8. Отже, якщо у вас є функція пошуку рядків, не розроблена для цієї специфічної кодування вигадки, тоді пошук цифри 8виявить помилковий позитивний результат у межах листа ß.
У UTF-8 цього не може статися, оскільки неперекриття між байтами ведучого та байтами сліду гарантує, що кодування коротшого символу ніколи не може відбутися в кодуванні довшого символу.
Unicode дозволяє використовувати 17 літаків , кожен з 65 536 можливих символів (або „кодових точок“). Це дає в цілому 1114112 можливих символів. В даний час виділено лише близько 10% цього простору.
Точні деталі того, як кодуються ці кодові точки, відрізняються від кодування, але ваше запитання здається таким, ніби ви думаєте про UTF-8. Причиною обмежень щодо байтів продовження є, мабуть, так, що легко знайти початок наступного символу (оскільки символи продовження завжди мають форму 10xxxxxx, але початковий байт ніколи не може бути такої форми).
Юнікод підтримує 1114112 кодових точок. Існує 2048 сурогатних кодів, що дає 1112 064 скалярних значень. З них 66 символів, що призводить до 1111 998 можливих закодованих символів (якщо я не зробив помилку підрахунку).
Щоб дати метафорично точну відповідь, all of them .
Байти продовження в кодуванні UTF-8 дозволяють виконати повторну синхронізацію закодованого октетного потоку в умовах "лінійного шуму". Кодеру просто потрібно сканувати вперед байт, який не має значення від 0x80 до 0xBF, щоб знати, що наступний байт є початком нової символьної точки.
Теоретично, кодування, що використовуються сьогодні, дозволяють виражати символи, число символів Unicode довжиною до 31 біта. На практиці це кодування фактично реалізовується в таких сервісах, як Twitter, де твіт максимальної довжини може кодувати дані на суму до 4 340 біт. (140 символів [дійсний та недійсний], по 31 біту кожен.)
perl -le 'print ord "\x{1FFF_FFFF_FFFF}"'друкує 35184372088831 на 64-розрядному комп'ютері, але дає ціле переповнення на 32-розрядному комп'ютері. Ви можете використовувати більше символів , як , що всередині PERL програми, але якщо ви намагаєтеся надрукувати їх як utf8, ви отримаєте обов'язкове попередження , якщо ви вимкніть такі: perl -le 'print "\x{1FFF_FFFF}"' Code point 0x1FFFFFFF is not Unicode, may not be portable at -e line 1. ######. Існує різниця між "вільним utf8" та "строгим UTF-8": перший не обмежений.
len(chr(0x10000)), даючи 2 (одиниці коду). Ядро OS X використовує UTF-8, правильно, але API високого рівня (какао тощо) використовує UTF-16.
[𝒜-𝒵], і ви побачите, чому я вважаю, що викриття UTF-16 є невдалою справою. Помилково змушувати програмістів думати в формах кодування, а не в логічних символах.
Unicode має шістнадцяткову кількість 110000, тобто 1114112
Згідно з Вікіпедією , Unicode 12.1 (випущений у травні 2019 року) містить 137 994 різних символів.