Щоб розширити відповіді, які дали інші:
У нас багато мов з великою кількістю символів, які в ідеалі повинні відображати комп’ютери. Unicode призначає кожному символу унікальне число або кодову точку.
Комп'ютери мають справу з такими числами, як байти ... пропускаючи сюди трохи історії та ігноруючи проблеми з пам'яттю, 8-бітні комп'ютери розглядають 8-бітний байт як найбільшу числову одиницю, легко представлену на апаратному забезпеченні, 16-бітні комп'ютери розширяться. що до двох байтів тощо.
Старі кодування символів, такі як ASCII, починаються з (до-) 8-бітової епохи, і намагаються втиснути домінуючу мову в обчислювальних системах, тобто англійську, на числа, що становлять від 0 до 127 (7 біт). З 26 букв в алфавіті, як з великої, так і з великої літери, цифр та знаків пунктуації, це спрацювало досить добре. ASCII було розширено на 8-й біт для інших, не англійських мов, але додаткові 128 номерів / кодових точок, доступні цим розширенням, будуть відображені в різні символи залежно від мови, що відображається. Стандарти ISO-8859 - найпоширеніші форми цього відображення; ISO-8859-1 та ISO-8859-15 (також відомий як ISO-Latin-1, latin1; так, є також дві різні версії стандарту ISO 8859).
Але цього недостатньо, коли ви хочете представляти символи з декількох мов, тому набивання всіх доступних символів в один байт просто не вийде.
По суті є два різних типи кодування: одне розширює діапазон значень, додаючи більше біт. Прикладами цих кодувань можуть бути UCS2 (2 байти = 16 біт) і UCS4 (4 байти = 32 біта). Вони страждають від тієї ж проблеми, що і стандарти ASCII та ISO-8859, оскільки їх діапазон значень все ще обмежений, навіть якщо межа значно перевищує.
Інший тип кодування використовує змінну кількість байтів на символ, і найбільш відомими для цього кодування є кодування UTF. Всі кодування UTF працюють приблизно однаково: ви вибираєте розмір одиниці, який для UTF-8 становить 8 біт, для UTF-16 - 16 біт, а для UTF-32 - 32 біт. Потім стандарт визначає кілька цих бітів як прапори: якщо вони встановлені, то наступний блок в послідовності одиниць слід вважати частиною того ж символу. Якщо вони не встановлені, цей пристрій представляє один символ повністю. Таким чином, найпоширеніші (англійські) символи займають лише один байт в UTF-8 (два в UTF-16, 4 в UTF-32), але інші символи мови можуть займати шість байт або більше.
Багатобайтові кодування (я мушу сказати, багатоодиничне після вищезазначеного пояснення) мають перевагу в тому, що вони є відносно ефективними для простору, але недоліком таких операцій, як пошук підрядків, порівнянь і т. Д., Всі повинні розшифровувати символи для коду unicode балів перед виконанням таких операцій (хоча є і деякі ярлики).
І стандарти UCS, і стандарти UTF кодують кодові точки, як визначено в Unicode. Теоретично ці кодування можуть використовуватися для кодування будь-якого числа (в межах діапазону, який підтримує кодування) - але, звичайно, ці кодування були зроблені для кодування точок коду Unicode. І ось ваші стосунки між ними.
Windows обробляє так звані рядки "Unicode" як рядки UTF-16, в той час як більшість UNIX в ці дні є типовими для UTF-8. Протоколи зв'язку, такі як HTTP, як правило, найкраще працюють з UTF-8, оскільки розмір одиниці в UTF-8 такий же, як і в ASCII, і більшість таких протоколів були розроблені в епоху ASCII. З іншого боку, UTF-16 дає найкращі середні показники простору / продуктивності обробки при представленні всіх живих мов.
Стандарт Unicode визначає менше точок коду, ніж їх можна представити у 32 бітах. Таким чином, для всіх практичних цілей, UTF-32 і UCS4 стали однаковим кодуванням, тому що вам навряд чи доведеться мати справу з символами з декількома одиницями в UTF-32.
Сподіваюсь, що заповнює деякі деталі.
