Яка максимальна кількість байтів для кодованого символу UTF-8?

Яка максимальна кількість байтів для одного кодованого символу UTF-8?

Я буду шифрувати байти рядка, закодованого в UTF-8, і тому мені потрібно мати можливість визначити максимальну кількість байтів для кодованого рядка UTF-8.

Хтось може підтвердити максимальну кількість байтів для одного кодованого символу UTF-8, будь ласка

Максимальна кількість байтів на символ - 4 відповідно до RFC3629 який обмежив таблицю символів U+10FFFF:

В UTF-8 символи з діапазону U + 0000..U + 10FFFF (доступний діапазон UTF-16) кодуються з використанням послідовностей від 1 до 4 октетів.

(Оригінальна специфікація допускала до шести байт-кодів символів для минулих кодових точок U+10FFFF .)

Для символів із кодом менше 128 потрібно лише 1 байт, а для наступних 1920 символів - лише 2 байти. Якщо ви не працюєте з езотеричною мовою, множення кількості символів на 4 буде значним завищенням.

Без подальшого контексту я б сказав, що максимальна кількість байт для символу в UTF-8 становить

відповідь: 6 байт

Автор прийнятої відповіді правильно вказав це як "оригінальну специфікацію". Це було дійсним згідно з RFC-2279 1 . Як зазначив Дж. Коко в коментарях нижче, це змінилося в 2003 р. З RFC-3629 2 , який обмежує UTF-8 кодуванням для 21 біта, яке можна обробляти за допомогою схеми кодування за допомогою чотирьох байтів.

відповідь, якщо охоплює всі Unicode: 4 байти

Але в Java <= v7 вони говорять про 3-байтовий максимум для представлення Unicode з UTF-8? Це тому, що оригінальна специфікація Unicode визначала лише базову багатомовну площину ( BMP ), тобто це старіша версія unicode або підмножина сучасного unicode. Так

відповідь, якщо він представляє лише оригінальний унікод, BMP: 3 байти

Але ОП говорить про те, щоб піти іншим шляхом. Не від символів до байтів UTF-8, а від байтів UTF-8 до "рядка" подання байтів. Можливо, автор прийнятої відповіді отримав це з контексту запитання, але це не обов'язково очевидно, тому може заплутати випадкового читача цього питання.

Переходячи від UTF-8 до власного кодування, ми повинні поглянути на те, як реалізовано "Рядок". Деякі мови, наприклад Python> = 3, представлятимуть кожен символ із цілочисельними кодовими точками, що дозволяє 4 байти на символ = 32 біти, щоб покрити 21, необхідний нам для Unicode, з деякими витратами. Чому не саме 21 біт? Тому що все відбувається швидше, коли вони вирівняні за байтами. Деякі мови, такі як Python <= 2 та Java, представляють символи з використанням кодування UTF-16, що означає, що вони повинні використовувати сурогатні пари для представлення розширеного Unicode (не BMP). У будь-якому випадку це все ще максимум 4 байти.

відповідь, якщо йде UTF-8 -> власне кодування: 4 байти

Отже, остаточний висновок 4 - найпоширеніша правильна відповідь, отже, ми правильно зрозуміли. Але, пробіг може варіюватися.

Максимальна кількість байт для підтримки US-ASCII, стандартного кодування англійського алфавіту, дорівнює 1. Але обмеження тексту англійською мовою з часом стає менш бажаним або практичним.

Unicode був розроблений для представлення гліфів усіх людських мов, а також багатьох видів символів з різноманітними характеристиками візуалізації. UTF-8 - це ефективне кодування для Unicode, хоча воно все ще має тенденцію до англійської. UTF-8 здійснює самосинхронізацію: межі символів легко визначити, скануючи чітко визначені бітові шаблони в будь-якому напрямку.

Хоча максимальна кількість байт на символ UTF-8 становить 3 для підтримки лише 2-байтового адресного простору площини 0, Базової багатомовної площини (BMP), яка може бути прийнята як мінімальна підтримка в деяких додатках, вона становить 4 для підтримки усі 17 поточних літаків Unicode (станом на 2019 рік). Слід зазначити, що багато популярних символів "смайликів", ймовірно, знаходяться в площині 16, для якої потрібно 4 байти.

Однак це стосується лише основних гліфів. Існують також різні модифікатори, такі як наголошення над попереднім символом, а також можна зв'язати довільну кількість кодових точок для побудови однієї складної "графеми". Отже, у реальному програмуванні використання або припущення про встановлену максимальну кількість байтів на символ, зрештою, може призвести до проблеми у вашому додатку.

З цих міркувань випливає, що рядки символів UTF-8 не повинні "розширюватися" до масивів фіксованої довжини перед обробкою, як це іноді робили. Натомість програмування слід здійснювати безпосередньо, використовуючи рядкові функції, спеціально розроблені для UTF-8.