Як декодувати рядок із захищеним Unicode?

Question 1

Я не впевнений, як це називається, тому у мене виникають проблеми з його пошуком. Як я можу декодувати рядок за допомогою Unicode від http\u00253A\u00252F\u00252Fexample.comдо за http://example.comдопомогою JavaScript? Я спробував unescape, decodeURIі decodeURIComponentтому, мабуть, єдине, що залишилось - це заміна рядка.

РЕДАГУВАТИ: рядок не набирається, а скоріше підрядок з іншого фрагмента коду. Отже, щоб вирішити проблему, потрібно почати з приблизно такого:

var s = 'http\\u00253A\\u00252F\\u00252Fexample.com';

Сподіваюся, це показує, чому unescape () не працює.

Question 2

Редагувати (12.10.2017) :

@MechaLynx та @ Kevin-Weber зазначають, що unescape()застаріле із середовища, що не стосується браузера, і не існує в TypeScript. decodeURIComponentє випадаючою заміною. Для ширшої сумісності використовуйте замість цього:

decodeURIComponent(JSON.parse('"http\\u00253A\\u00252F\\u00252Fexample.com"'));
> 'http://example.com'

Оригінальна відповідь:

unescape(JSON.parse('"http\\u00253A\\u00252F\\u00252Fexample.com"'));
> 'http://example.com'

Ви можете розвантажити всю роботу JSON.parse

Question 3

ОНОВЛЕННЯ : Будь ласка, зверніть увагу, що це рішення, яке має застосовуватися до старих браузерів або не браузерних платформ, і воно залишається в живих для навчальних цілей. Будь ласка, зверніться до відповіді @radicand нижче, щоб отримати більш актуальну відповідь.

Це юнікод, екранований рядок. Спочатку рядок був екранованим, а потім закодований за допомогою Unicode. Щоб перетворити назад у звичайне:

var x = "http\\u00253A\\u00252F\\u00252Fexample.com";
var r = /\\u([\d\w]{4})/gi;
x = x.replace(r, function (match, grp) {
    return String.fromCharCode(parseInt(grp, 16)); } );
console.log(x);  // http%3A%2F%2Fexample.com
x = unescape(x);
console.log(x);  // http://example.com

Пояснити: я використовую регулярний вираз для пошуку \u0025. Однак, так як мені потрібно тільки частина цього рядка для моєї заміни операції, я використовую круглі дужки , щоб ізолювати частину я збираюся повторного використання 0025. Ця ізольована частина називається групою.

giЧастина в кінці виразу позначає воно повинно відповідати всім екземплярам в рядку, а не тільки перший з них, і що узгодження має бути чутливим до регістру. На прикладі це може здатися непотрібним, але це додає універсальності.

Тепер, щоб перетворити з одного рядка в наступний, мені потрібно виконати кілька кроків у кожній групі кожного збігу, і я не можу цього зробити, просто перетворивши рядок. Корисно, операція String.replace може прийняти функцію, яка буде виконуватися для кожного збігу. Повернення цієї функції замінить саму відповідність у рядку.

Я використовую другий параметр, який ця функція приймає, тобто групу, яку мені потрібно використовувати, і перетворюю її на еквівалентну послідовність utf-8, а потім використовую вбудовану unescapeфункцію для декодування рядка у належний вигляд.

Question 4

Слід зазначити , що використання unescape()є застарілим і не працює з компілятором машинопису, наприклад.

На основі відповіді radicand та розділу коментарів нижче, ось оновлене рішення:

var string = "http\\u00253A\\u00252F\\u00252Fexample.com";
decodeURIComponent(JSON.parse('"' + string.replace(/\"/g, '\\"') + '"'));

http://example.com

Question 5

У мене недостатньо представників, щоб помістити це під коментарі до існуючих відповідей:

unescapeпризначений лише для роботи з URI (або будь-яким закодованим utf-8), що, мабуть, стосується потреб більшості людей. encodeURIComponentперетворює рядок js на екранований UTF-8 і decodeURIComponentпрацює лише на екрановані байти UTF-8. Він видає помилку для чогось на кшталт того, decodeURIComponent('%a9'); // errorщо розширений ascii не є допустимим utf-8 (хоча це все ще є значенням юнікоду), тоді як unescape('%a9'); // ©отже, вам потрібно знати свої дані, коли використовуєте decodeURIComponent.

decodeURIComponent не буде працювати над "%C2"будь-яким одиноким байтом, 0x7fтому що в utf-8, що вказує на частину сурогату. Однак decodeURIComponent("%C2%A9") //gives you ©Unescape не буде працювати належним чином на цьому // Â©І це не призведе до помилки, тому unescape може призвести до помилки, якщо ви не знаєте своїх даних.

Question 6

Використання JSON.decodeдля цього має суттєві недоліки, про які ви повинні знати:

Ви повинні обернути рядок у подвійні лапки
Багато символів не підтримуються, і їх слід уникати самостійно. Наприклад, передача будь-якого з наступних способів JSON.decode(після упаковки їх в подвійних лапках) буде помилка , навіть якщо вони є коректними: \\n, \n, \\0,a"a
Він не підтримує шістнадцяткові екрани: \\x45
Він не підтримує послідовності кодових точок Unicode: \\u{045}

Є й інші застереження. По суті, використання JSON.decodeдля цієї мети - хакерство і працює не так, як ви завжди могли очікувати. Вам слід дотримуватися використання JSONбібліотеки для обробки JSON, а не для рядкових операцій.

Нещодавно я сам зіткнувся з цим питанням і хотів надійний декодер, тому в підсумку сам написав його. Він повністю і ретельно протестований і доступний тут: https://github.com/iansan5653/unraw . Він максимально імітує стандарт JavaScript.

Пояснення:

Джерело складає близько 250 рядків, тому я не буду включати все це сюди, але по суті він використовує наступний регулярний вираз для пошуку всіх послідовностей виходу, а потім аналізує їх, використовуючи parseInt(string, 16)для декодування чисел base-16, а потім String.fromCodePoint(number)для отримання відповідного символу:

/\\(?:(\\)|x([\s\S]{0,2})|u(\{[^}]*\}?)|u([\s\S]{4})\\u([^{][\s\S]{0,3})|u([\s\S]{0,4})|([0-3]?[0-7]{1,2})|([\s\S])|$)/g

Коментується (ПРИМІТКА. Цей регулярний вираз відповідає всім послідовностям екранування, включаючи недійсні. Якщо рядок '\x!!'видасть помилку в JS, вона видасть помилку в моїй бібліотеці [тобто помилка буде]):

/
\\ # All escape sequences start with a backslash
(?: # Starts a group of 'or' statements
(\\) # If a second backslash is encountered, stop there (it's an escaped slash)
| # or
x([\s\S]{0,2}) # Match valid hexadecimal sequences
| # or
u(\{[^}]*\}?) # Match valid code point sequences
| # or
u([\s\S]{4})\\u([^{][\s\S]{0,3}) # Match surrogate code points which get parsed together
| # or
u([\s\S]{0,4}) # Match non-surrogate Unicode sequences
| # or
([0-3]?[0-7]{1,2}) # Match deprecated octal sequences
| # or
([\s\S]) # Match anything else ('.' doesn't match newlines)
| # or
$ # Match the end of the string
) # End the group of 'or' statements
/g # Match as many instances as there are

Приклад

Використовуючи цю бібліотеку:

import unraw from "unraw";

let step1 = unraw('http\\u00253A\\u00252F\\u00252Fexample.com');
// yields "http%3A%2F%2Fexample.com"
// Then you can use decodeURIComponent to further decode it:
let step2 = decodeURIComponent(step1);
// yields http://example.com