Як я можу перетворити рядок у bytearray за допомогою JavaScript. Результат повинен бути еквівалентний наведеному нижче коду C #.

UnicodeEncoding encoding = new UnicodeEncoding();
byte[] bytes = encoding.GetBytes(AnyString);

Оскільки UnicodeEncoding за замовчуванням UTF-16 з малою ендіанністю.

Редагувати: у мене є вимога збігати байтовий масив, згенерований на стороні клієнта, з тим, який генерується на стороні сервера, використовуючи наведений вище код C #.

У C # це працює

UnicodeEncoding encoding = new UnicodeEncoding();
byte[] bytes = encoding.GetBytes("Hello");

Створить масив за допомогою

72,0,101,0,108,0,108,0,111,0

Для символу, код якого перевищує 255, це буде виглядати так

Якщо ви хочете дуже подібної поведінки в JavaScript, ви можете зробити це (v2 - трохи більш надійне рішення, тоді як оригінальна версія буде працювати лише для 0x00 ~ 0xff)

var str = "Hello竜";
var bytes = []; // char codes
var bytesv2 = []; // char codes

for (var i = 0; i < str.length; ++i) {
  var code = str.charCodeAt(i);
  
  bytes = bytes.concat([code]);
  
  bytesv2 = bytesv2.concat([code & 0xff, code / 256 >>> 0]);
}

// 72, 101, 108, 108, 111, 31452
console.log('bytes', bytes.join(', '));

// 72, 0, 101, 0, 108, 0, 108, 0, 111, 0, 220, 122
console.log('bytesv2', bytesv2.join(', '));

Якщо ви шукаєте рішення, яке працює в node.js, ви можете використовувати це:

var myBuffer = [];
var str = 'Stack Overflow';
var buffer = new Buffer(str, 'utf16le');
for (var i = 0; i < buffer.length; i++) {
    myBuffer.push(buffer[i]);
}

console.log(myBuffer);

Я припускаю, що C # та Java створюють рівнобайтові масиви. Якщо у вас є символи, що не є ASCII, недостатньо додати додаткових 0. Мій приклад містить кілька спеціальних символів:

var str = "Hell ö € Ω 𝄞";
var bytes = [];
var charCode;

for (var i = 0; i < str.length; ++i)
{
    charCode = str.charCodeAt(i);
    bytes.push((charCode & 0xFF00) >> 8);
    bytes.push(charCode & 0xFF);
}

alert(bytes.join(' '));
// 0 72 0 101 0 108 0 108 0 32 0 246 0 32 32 172 0 32 3 169 0 32 216 52 221 30

Я не знаю, чи C # розміщує специфікацію (позначення порядку байтів), але якщо використовується UTF-16, Java String.getBytesдодає такі байти: 254 255.

String s = "Hell ö € Ω ";
// now add a character outside the BMP (Basic Multilingual Plane)
// we take the violin-symbol (U+1D11E) MUSICAL SYMBOL G CLEF
s += new String(Character.toChars(0x1D11E));
// surrogate codepoints are: d834, dd1e, so one could also write "\ud834\udd1e"

byte[] bytes = s.getBytes("UTF-16");
for (byte aByte : bytes) {
    System.out.print((0xFF & aByte) + " ");
}
// 254 255 0 72 0 101 0 108 0 108 0 32 0 246 0 32 32 172 0 32 3 169 0 32 216 52 221 30

Редагувати:

Додано спеціальний символ (U + 1D11E) MUSICAL SYMBOL G CLEF (за межами BPM, тому в UTF-16 береться не лише 2 байти, а й 4.

Поточні версії JavaScript внутрішньо використовують "UCS-2", тому цей символ займає простір 2 звичайних символів.

Я не впевнений, але при використанні charCodeAt здається, що ми отримуємо саме сурогатні кодові точки, які також використовуються в UTF-16, тому символи, не пов'язані з BPM, обробляються правильно.

Ця проблема абсолютно нетривіальна. Це може залежати від використовуваних версій та механізмів JavaScript. Отже, якщо ви хочете отримати надійні рішення, вам слід поглянути на:

• https://github.com/koichik/node-codepoint/
• http://mathiasbynens.be/notes/javascript-escapes
• Мережа розробників Mozilla: charCodeAt
• BigEndian проти LittleEndian

Найпростішим способом у 2018 році повинен бути TextEncoder, але повернутий елемент - це не байтовий масив, це Uint8Array. (І не всі браузери це підтримують)

let utf8Encode = new TextEncoder();
utf8Encode.encode("eee")
> Uint8Array [ 101, 101, 101 ]

Байтовий масив UTF-16

JavaScript кодує рядки як UTF-16 , так само, як і C # UnicodeEncoding, тому масиви байтів повинні точно збігатися charCodeAt(), і розділяючи кожну повернену пару байтів на 2 окремі байти, як у:

function strToUtf16Bytes(str) {
  const bytes = [];
  for (ii = 0; ii < str.length; ii++) {
    const code = str.charCodeAt(ii); // x00-xFFFF
    bytes.push(code & 255, code >> 8); // low, high
  }
  return bytes;
}

Наприклад:

strToUtf16Bytes('🌵'); 
// [ 60, 216, 53, 223 ]

Однак, якщо ви хочете отримати байтовий масив UTF-8, ви повинні перекодувати байти.

Байтовий масив UTF-8

Рішення здається дещо нетривіальним, але я використовував наведений нижче код у виробничому середовищі з великим трафіком з великим успіхом ( оригінальне джерело ).

Також для зацікавленого читача я опублікував свої помічники Unicode, які допомагають мені працювати з довжинами рядків, про які повідомляють інші мови, такі як PHP.

/**
 * Convert a string to a unicode byte array
 * @param {string} str
 * @return {Array} of bytes
 */
export function strToUtf8Bytes(str) {
  const utf8 = [];
  for (let ii = 0; ii < str.length; ii++) {
    let charCode = str.charCodeAt(ii);
    if (charCode < 0x80) utf8.push(charCode);
    else if (charCode < 0x800) {
      utf8.push(0xc0 | (charCode >> 6), 0x80 | (charCode & 0x3f));
    } else if (charCode < 0xd800 || charCode >= 0xe000) {
      utf8.push(0xe0 | (charCode >> 12), 0x80 | ((charCode >> 6) & 0x3f), 0x80 | (charCode & 0x3f));
    } else {
      ii++;
      // Surrogate pair:
      // UTF-16 encodes 0x10000-0x10FFFF by subtracting 0x10000 and
      // splitting the 20 bits of 0x0-0xFFFFF into two halves
      charCode = 0x10000 + (((charCode & 0x3ff) << 10) | (str.charCodeAt(ii) & 0x3ff));
      utf8.push(
        0xf0 | (charCode >> 18),
        0x80 | ((charCode >> 12) & 0x3f),
        0x80 | ((charCode >> 6) & 0x3f),
        0x80 | (charCode & 0x3f),
      );
    }
  }
  return utf8;
}

Натхненний відповіддю @ hgoebl. Його код призначений для UTF-16, і мені потрібно було щось для US-ASCII. Отже, ось більш повна відповідь, яка охоплює US-ASCII, UTF-16 та UTF-32.

/**@returns {Array} bytes of US-ASCII*/
function stringToAsciiByteArray(str)
{
    var bytes = [];
   for (var i = 0; i < str.length; ++i)
   {
       var charCode = str.charCodeAt(i);
      if (charCode > 0xFF)  // char > 1 byte since charCodeAt returns the UTF-16 value
      {
          throw new Error('Character ' + String.fromCharCode(charCode) + ' can\'t be represented by a US-ASCII byte.');
      }
       bytes.push(charCode);
   }
    return bytes;
}
/**@returns {Array} bytes of UTF-16 Big Endian without BOM*/
function stringToUtf16ByteArray(str)
{
    var bytes = [];
    //currently the function returns without BOM. Uncomment the next line to change that.
    //bytes.push(254, 255);  //Big Endian Byte Order Marks
   for (var i = 0; i < str.length; ++i)
   {
       var charCode = str.charCodeAt(i);
       //char > 2 bytes is impossible since charCodeAt can only return 2 bytes
       bytes.push((charCode & 0xFF00) >>> 8);  //high byte (might be 0)
       bytes.push(charCode & 0xFF);  //low byte
   }
    return bytes;
}
/**@returns {Array} bytes of UTF-32 Big Endian without BOM*/
function stringToUtf32ByteArray(str)
{
    var bytes = [];
    //currently the function returns without BOM. Uncomment the next line to change that.
    //bytes.push(0, 0, 254, 255);  //Big Endian Byte Order Marks
   for (var i = 0; i < str.length; i+=2)
   {
       var charPoint = str.codePointAt(i);
       //char > 4 bytes is impossible since codePointAt can only return 4 bytes
       bytes.push((charPoint & 0xFF000000) >>> 24);
       bytes.push((charPoint & 0xFF0000) >>> 16);
       bytes.push((charPoint & 0xFF00) >>> 8);
       bytes.push(charPoint & 0xFF);
   }
    return bytes;
}

UTF-8 має змінну довжину і не включається, тому що мені довелося б писати кодування самостійно. UTF-8 та UTF-16 мають змінну довжину. UTF-8, UTF-16 та UTF-32 мають мінімальну кількість бітів, як вказує їх назва. Якщо символ UTF-32 має кодову точку 65, це означає, що є 3 провідних 0. Але той же код для UTF-16 має лише 1 провідний 0. US-ASCII, з іншого боку, є фіксованою шириною 8 біт, що означає, що його можна безпосередньо перевести в байти.

String.prototype.charCodeAtповертає максимальну кількість 2 байт і точно відповідає UTF-16. Однак необхідний UTF-32 String.prototype.codePointAt, який є частиною пропозиції ECMAScript 6 (Harmony). Оскільки charCodeAt повертає 2 байти, що є більш можливими символами, ніж US-ASCII, функція stringToAsciiByteArrayбуде кидати в таких випадках, замість того, щоб розділити символ навпіл і взяти один або обидва байти.

Зверніть увагу, що ця відповідь нетривіальна, оскільки кодування символів є нетривіальним. Який тип байтового масиву ви хочете, залежить від того, яке кодування символів ви хочете, щоб ці байти представляли.

javascript має можливість внутрішнього використання або UTF-16, або UCS-2, але оскільки у нього є методи, які діють так, як це UTF-16, я не розумію, чому будь-який браузер буде використовувати UCS-2. Також дивіться: https://mathiasbynens.be/notes/javascript-encoding

Так, я знаю, що питанню 4 роки, але мені потрібна була сама відповідь.

Оскільки я не можу коментувати відповідь, я б спирався на відповідь Джин Іззраеля

var myBuffer = [];
var str = 'Stack Overflow';
var buffer = new Buffer(str, 'utf16le');
for (var i = 0; i < buffer.length; i++) {
    myBuffer.push(buffer[i]);
}

console.log(myBuffer);

сказавши, що ви можете використовувати це, якщо хочете використовувати буфер Node.js у своєму браузері.

https://github.com/feross/buffer

Отже, заперечення Тома Стікеля не є дійсним, і відповідь справді є слушною відповіддю.

String.prototype.encodeHex = function () {
    return this.split('').map(e => e.charCodeAt())
};

String.prototype.decodeHex = function () {    
    return this.map(e => String.fromCharCode(e)).join('')
};

Найкращим рішенням, яке я придумав на місці (хоча, швидше за все, сирим), було б:

String.prototype.getBytes = function() {
    var bytes = [];
    for (var i = 0; i < this.length; i++) {
        var charCode = this.charCodeAt(i);
        var cLen = Math.ceil(Math.log(charCode)/Math.log(256));
        for (var j = 0; j < cLen; j++) {
            bytes.push((charCode << (j*8)) & 0xFF);
        }
    }
    return bytes;
}

Хоча я помічаю, що це питання тут уже більше року.

Я знаю, що питанню вже майже 4 роки, але це те, що зі мною справно працювало:

String.prototype.encodeHex = function () {
  var bytes = [];
  for (var i = 0; i < this.length; ++i) {
    bytes.push(this.charCodeAt(i));
  }
  return bytes;
};

Array.prototype.decodeHex = function () {    
  var str = [];
  var hex = this.toString().split(',');
  for (var i = 0; i < hex.length; i++) {
    str.push(String.fromCharCode(hex[i]));
  }
  return str.toString().replace(/,/g, "");
};

var str = "Hello World!";
var bytes = str.encodeHex();

alert('The Hexa Code is: '+bytes+' The original string is:  '+bytes.decodeHex());

або, якщо ви хочете працювати лише з рядками, а не з масивом, ви можете використовувати:

String.prototype.encodeHex = function () {
  var bytes = [];
  for (var i = 0; i < this.length; ++i) {
    bytes.push(this.charCodeAt(i));
  }
  return bytes.toString();
};

String.prototype.decodeHex = function () {    
  var str = [];
  var hex = this.split(',');
  for (var i = 0; i < hex.length; i++) {
    str.push(String.fromCharCode(hex[i]));
  }
  return str.toString().replace(/,/g, "");
};

var str = "Hello World!";
var bytes = str.encodeHex();

alert('The Hexa Code is: '+bytes+' The original string is:  '+bytes.decodeHex());

Ось та сама функція, яку @BrunoLM розмістив, перетворену на функцію прототипу String:

String.prototype.getBytes = function () {
  var bytes = [];
  for (var i = 0; i < this.length; ++i) {
    bytes.push(this.charCodeAt(i));
  }
  return bytes;
};

Якщо ви визначите функцію як таку, тоді ви можете викликати метод .getBytes () для будь-якого рядка:

var str = "Hello World!";
var bytes = str.getBytes();

Вам не потрібно підкреслювати, просто використовуйте вбудовану карту:

var string = 'Hello World!';

document.write(string.split('').map(function(c) { return c.charCodeAt(); }));