Як Chrome вирішує, що виділити, коли ви двічі клацніть японський текст?

Якщо ви двічі клацніть текст англійською мовою в Chrome, виділене вами слово з обмеженим пробілом виділяється. Це не дивно. Однак днями я натискав, читаючи текст японською мовою, і помічав, що деякі слова виділяються на межі слів, навіть якщо у японців немає пробілів. Ось приклад тексту:

ど こ で 生 れ た か と ん と 見 当 が か ぬ。 何 で も 薄 暗 じ め じ め し た 所 ニ ャ ャ ー ニ ャ 泣 い て い た 事 だ け は は は

Наприклад, якщо натиснути 薄 暗 い, Chrome правильно виділить його як одне слово, навіть якщо це не один клас символів (це суміш кандзі та хірагани). Не всі основні моменти є правильними, але вони не здаються випадковими.

Як Chrome вирішує, що тут виділити? Я спробував шукати в джерелі Chrome "японське слово", але виявив лише тести експериментального модуля , який не видається активним у моїй версії Chrome.

Ось і виявляється, v8 має нестандартне багатомовне слово segmenter, і воно обробляє японську.

function tokenizeJA(text) {
  var it = Intl.v8BreakIterator(['ja-JP'], {type:'word'})
  it.adoptText(text)
  var words = []

  var cur = 0, prev = 0

  while (cur < text.length) {
    prev = cur
    cur = it.next()
    words.push(text.substring(prev, cur))
  }

  return words
}

console.log(tokenizeJA('どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。'))
// ["どこ", "で", "生れ", "たか", "とんと", "見当", "が", "つ", "か", "ぬ", "。", "何でも", "薄暗い", "じめじめ", "した", "所", "で", "ニャーニャー", "泣", "い", "て", "いた事", "だけ", "は", "記憶", "し", "て", "いる", "。"]

Я також зробив jsfiddle, що це показує.

Якість не дивовижна, але я здивований, що це взагалі підтримується.

На основі посилань, опублікованих JonathonW , відповідь в основному зводиться до: "Існує великий список японських слів і Chrome перевіряє, чи ви двічі клацнули на слові".

Зокрема, v8 використовує ІКУ, щоб здійснити купу речей, пов'язаних з обробкою тексту Unicode, включаючи розбиття тексту на слова . Код виявлення кордонів ICU включає в себе "BreakIterator на основі словника" для мов, які не мають пробілів, включаючи японську, китайську, тайську тощо.

А для вашого конкретного прикладу "薄 暗 い" ви можете знайти це слово в комбінованому китайсько-японському словнику, який постачається ICU (рядок 255431). На даний момент у списку є 315,671 загальна кількість китайських / японських слів. Імовірно, якщо ви знайдете слово, яке Chrome не розбивається належним чином, ви можете надіслати ICU патч, щоб додати це слово.