Які символи групуються з Array.from?

Я граю з JS і не можу зрозуміти, як JS вирішує, які елементи додати до створеного масиву при використанні Array.from(). Наприклад, наступний смайлик 👍 має length2, оскільки він складається з двох кодових точок, але Array.from()розглядає ці дві кодові точки як одну, надаючи масив з одним елементом:

const emoji = '👍';
console.log(Array.from(emoji)); // Output: ["👍"]

Однак деякі інші символи також мають дві кодові точки, наприклад, цей символ षि(також має .length2). Однак Array.fromне "групує" цього персонажа, а натомість створює два елементи:

const str = 'षि';
console.log(Array.from(str)); // Output: ["ष", "ि"]

Моє запитання: Що визначає, розбивається персонаж (як у прикладі два) чи трактується як один єдиний елемент (як у прикладі один), коли символ складається з двох кодових точок?

Array.fromспочатку намагається викликати ітератор аргументу, якщо він має його, а рядки мають ітератори, тому він викликає String.prototype[Symbol.iterator], так що давайте подивимось, як працює метод прототипу. Це описано в специфікації тут :

1. Нехай О буде? RequireObjectCoercible (це значення).
2. Нехай S бути? ToString (O).
3. Повернути CreateStringIterator (S).

Дивлячись в CreateStringIteratorкінці кінців приведе вас 21.1.5.2.1 %StringIteratorPrototype%.next ( ), що робить:

9. Нехай cp буде! CodePointAt (s, позиція).
10. Нехай resultString - це значення String, що містить cp. [[CodeUnitCount]] послідовних кодових одиниць, починаючи з початку з блоком коду в позиції індексу.
11. Встановіть O [[StringNextIndex]] в положення + cp. [[CodeUnitCount]].
12. Повернути CreateIterResultObject (resultString, false).

Це CodeUnitCountте, що вас цікавить. Це число походить від CodePointAt :

3. Дозвольте спочатку бути одиницею коду в позиції індексу в рядку.
4. Нехай cp - кодова точка, числове значення якої є першою.

5. Якщо спочатку не є провідним сурогатом чи заднім сурогатом, то

   а. Повернути запис { [[CodePoint]]: cp, [[CodeUnitCount]]: 1, [[IsUnpairedSurrogate]]: false }.

6. Якщо спочатку є сурогат чи позиція + 1 = розмір, то

   a. Поверніть Запис { [[CodePoint]]: cp, [[CodeUnitCount]]: 1, [[IsUnpairedSurrogate]]: true }.

7. Нехай другим є одиниця коду в позиції індексу + 1 в рядку.

8. Якщо другий не є сурогатом, що значить,

   а. Повернути запис { [[CodePoint]]: cp, [[CodeUnitCount]]: 1, [[IsUnpairedSurrogate]]: true }.

9. Встановити cp на! UTF16DecodeSurrogatePair (перший, другий).

10. Повернути запис { [[CodePoint]]: cp, [[CodeUnitCount]]: 2, [[IsUnpairedSurrogate]]: false }.

Отже, при ітерації над рядком з Array.fromвін повертає CodeUnitCount 2 лише тоді, коли відповідний символ є початком сурогатної пари. Символи , які інтерпретуються як сурогатні пари описані тут :

Такі операції застосовують спеціальну обробку для кожної одиниці коду з числовим значенням в межах включеного діапазону від 0xD800 до 0xDBFF (визначений стандартом Unicode як провідний сурогат , або більш формально як одиниця коду з високим сурогатом) і до кожної одиниці коду з числовим значенням в діапазоні включення від 0xDC00 до 0xDFFF (визначається як задні сурогат, або формальніше як одиниця коду з низьким сурогатом) з використанням наступних правил ..:

षि не є сурогатною парою:

console.log('षि'.charCodeAt()); // First character code: 2359, or 0x937
console.log('षि'.charCodeAt(1)); // Second character code: 2367, or 0x93F

Але 👍символи:

console.log('👍'.charCodeAt()); // 55357, or 0xD83D
console.log('👍'.charCodeAt(1)); // 56397, or 0xDC4D

Першим символьним кодом '👍', у шістнадцятковій частині, є D83D, що знаходиться в межах 0xD800 to 0xDBFFпровідних сурогатів. На відміну від цього, перший код символу 'षि'значно нижчий, і ні. Таким чином, 'षि'розбивається на частини, але '👍'це не так.

षिскладається з двох окремих символів: ष, деванагарі Лист Ssa , і ि, деванагарі Vowel Вхід I . Коли поруч один з одним в цьому порядку, вони візуально поєднуються в єдиний символ, незважаючи на те, що вони складаються з двох окремих символів.

Навпаки, символьні коди мають сенс 👍 лише тоді, коли вони разом, як єдиний гліф. Якщо ви спробуєте використати рядок з будь-якою кодовою точкою без іншої, ви отримаєте символ нісенітниці:

console.log('👍'[0]);
console.log('👍'[1]);

UTF-16 (кодування, що використовується для рядків у js) використовує 16-бітні одиниці. Отже, кожен унікод, який можна представити за допомогою 15 біт, представлений як одна кодова точка, все інше як дві, відомі як сурогатні пари . Итератор рядків перебирає кодові точки.

UTF-16 у Вікіпедії

Вся справа в коді за символами. Деякі кодуються в два байти (UTF-16) і інтерпретуються Array.fromяк два символи. Треба перевірити список персонажів:

http://www.fileformat.info/info/charset/UTF-8/list.htm

http://www.fileformat.info/info/charset/UTF-16/list.htm

function displayHexUnicode(s) {
  console.log(s.split("").reduce((hex,c)=>hex+=c.charCodeAt(0).toString(16).padStart(4,"0"),""));
}

displayHexUnicode('षि');

console.log(Array.from('षि').forEach(x => displayHexUnicode(x)));

function displayHexUnicode(s) {
  console.log(s.split("").reduce((hex,c)=>hex+=c.charCodeAt(0).toString(16).padStart(4,"0"),""));
}

displayHexUnicode('👍');

console.log(Array.from('👍').forEach(x => displayHexUnicode(x)));

Для функції, яка відображає шістнадцятковий код:

Javascript: рядок Unicode в шістнадцятковий