Бетонний Jage Regex для наголошених персонажів (діакритики)

Я дивився на переповнення стека ( замінюючи символи .. е , як JavaScript не відповідає стандарту Unicode щодо RegExp тощо) і не знайшов конкретної відповіді на питання:

How can JavaScript match for accented characters (those with diacritical marks)?

Я змушую поле в інтерфейсі відповідати формату: last_name, first_name (останній [пробіл комами] спочатку) , і я хочу надати підтримку діакритики, але, очевидно, в JavaScript це трохи складніше, ніж в інших мовах / платформах.

Це була моя оригінальна версія, доки я не хотів додати діакритичну підтримку:

/^[a-zA-Z]+,\s[a-zA-Z]+$/

В даний час я обговорюю один з трьох методів додати підтримку, які я протестував і працюю (принаймні, певною мірою, я не знаю, що таке "ступінь" другого підходу). Ось вони:

Явно перелічуються всі наголошені символи, які я хотів би прийняти як дійсні (кульгаві та надмірно складні):

var accentedCharacters = "àèìòùÀÈÌÒÙáéíóúýÁÉÍÓÚÝâêîôûÂÊÎÔÛãñõÃÑÕäëïöüÿÄËÏÖÜŸçÇßØøÅåÆæœ";
// Build the full regex
var regex = "^[a-zA-Z" + accentedCharacters + "]+,\\s[a-zA-Z" + accentedCharacters + "]+$";
// Create a RegExp from the string version
regexCompiled = new RegExp(regex);
// regexCompiled = /^[a-zA-ZàèìòùÀÈÌÒÙáéíóúýÁÉÍÓÚÝâêîôûÂÊÎÔÛãñõÃÑÕäëïöüÿÄËÏÖÜŸçÇßØøÅåÆæœ]+,\s[a-zA-ZàèìòùÀÈÌÒÙáéíóúýÁÉÍÓÚÝâêîôûÂÊÎÔÛãñõÃÑÕäëïöüÿÄËÏÖÜŸçÇßØøÅåÆæœ]+$/

• Це правильно відповідає прізвище / ім’я будь-яким із підтримуваних наголошених символів у accentedCharacters.

Мій інший підхід полягав у використанні .класу символів, щоб мати простіший вираз:

var regex = /^.+,\s.+$/;

• Цей матч буде просто ні про що, по крайней мере , в вигляді: something, something. Я гадаю, гаразд ...

Останній підхід, який я щойно знайшов, може бути простішим ...

/^[a-zA-Z\u00C0-\u017F]+,\s[a-zA-Z\u00C0-\u017F]+$/

• Він відповідає ряду символів Unicode - перевірених і працюючих, хоча я не спробував нічого божевільного, просто звичайні речі, які я бачу в нашому мовному відділі щодо імен членів факультету.

Ось мої проблеми:

1. Перше рішення є занадто обмежуючим, і неохайним і суворим. Це потрібно було б змінити, якби я забув персонажа чи двох, і це просто не дуже практично.
2. Друге рішення краще, стисло, але воно, мабуть, відповідає набагато більше, ніж насправді повинно бути. Я не зміг знайти жодної реальної документації щодо того , що саме. відповідає, просто узагальнення "будь-якого символу, крім символу нової лінії" (з таблиці на MDN ).

3. Третє рішення, здається, є найбільш точним, але чи є якісь голоси? Я не дуже знайомий з Unicode, принаймні на практиці, але дивлячись на кодову таблицю / продовження цієї таблиці , \u00C0-\u017Fздається, досить солідним, принаймні, на мій очікуваний вклад.

   • Факультет не надсилатиме форми з їх іменами рідною мовою (наприклад, арабською, китайською, японською тощо), тому мені не доведеться турбуватися про символи набору символів, які не є латинськими.

Тож справжнє питання : Який із цих трьох підходів найбільше підходить для виконання завдання? Або є кращі рішення?

Найпростіший спосіб прийняти всі акценти:

[A-zÀ-ú] // accepts lowercase and uppercase characters
[A-zÀ-ÿ] // as above but including letters with an umlaut (includes [ ] ^ \ × ÷)
[A-Za-zÀ-ÿ] // as above but not including [ ] ^ \
[A-Za-zÀ-ÖØ-öø-ÿ] // as above but not including [ ] ^ \ × ÷

Див. Https://unicode-table.com/en/ для символів, перелічених у числовому порядку.

Діапазон наголосів на латині \u00C0-\u017Fбув недостатньо для моєї бази даних імен, тому я розширив регулярний вираз

[a-zA-Z\u00C0-\u024F]
[a-zA-Z\u00C0-\u024F\u1E00-\u1EFF] // includes even more Latin chars

Я додав ці блоки коду ( \u00C0-\u024Fвключає відразу три сусідніх блоки):

• \u00C0-\u00FF Латинська-1 добавка
• \u0100-\u017F Латинська розширена-A
• \u0180-\u024F Латинська розширена-Б
• \u1E00-\u1EFF Латинська розширена додаткова

Зауважте, що \u00C0-\u00FFнасправді є лише частиною латинської добавки 1 . Цей діапазон пропускає недруковані сигнали управління та всі символи, за винятком незграбно розміщеного множення × \u00D7та ділення ÷ \u00F7.

[a-zA-Z\u00C0-\u00D6\u00D8-\u00F6\u00F8-\u024F] // exclude ×÷

Якщо вам потрібно більше точок коду, ви можете знайти більше діапазонів у списку символів Вікіпедії Unicode . Наприклад, ви також можете додати латинські розширені-C , D та E , але я їх вийшов із-за того, що зараз цікаві лише історики, а набори D і E навіть не відображаються правильно у моєму браузері.

Оригінальний регулярний вираз, що зупиняється на \u017Fборці на назві "Șenol". За даними аналізатора Unicode FontSpace , першим символом є \u0218ЛАТИНСЬКЕ КАПІТАЛЬНЕ ПІСЛЯ З КОММАЮ ВІДНІШЕ . (Так, зазвичай це написано cedilla-S \u015E, "Şenol". Але я не лечу до Туреччини, щоб поїхати сказати йому: "Ви неправильно написали своє ім'я!")

Який із цих трьох підходів найбільше підходить для виконання завдання?

Залежить від завдання :-) Щоб точно відповідати всім латинським символам та їх наголошеним версіям, діапазони Unicode, ймовірно, пропонують найкраще рішення. Вони можуть бути розширені на всі символи, що не містять пробілів, що можна зробити за допомогою \Sкласу символів.

Я змушую поле в інтерфейсі відповідати формату: last_name, first_name(останній [пробіл комами] перший)

Найбільш основна проблема, яку я бачу тут, - це не діакритичність, а пробіли. Є кілька імен, які складаються з декількох слів, наприклад, для назв. Тож вам слід підходити до найбільш загального, тобто дозволити все, крім коми, що відрізняє перше від прізвища:

/[^,]+,\s[^,]+/

Але ваше друге рішення з .класом символів настільки ж чудове, тоді вам може знадобитися подбати про кілька команд.

У бібліотеці XRegExp є плагін під назвою Unicode, який допомагає вирішувати подібні завдання.

<script src="xregexp.js"></script>
<script src="addons/unicode/unicode-base.js"></script>
<script>
  var unicodeWord = XRegExp("^\\p{L}+$");

  unicodeWord.test("Русский"); // true
  unicodeWord.test("日本語"); // true
  unicodeWord.test("العربية"); // true
</script>

Це згадується в коментарях до питання, але це легко пропустити. Я помітив це лише після того, як я подав цю відповідь.

Як щодо цього?

/^[a-zA-ZÀ-ÖØ-öø-ÿ]+$/

Як що до цього?

^([a-zA-Z]|[à-ú]|[À-Ú])+$

Він буде відповідати кожному слову з наголошеними символами чи ні.

з цієї вікі: https://en.wikipedia.org/wiki/List_of_Unicode_characters#Basic_Latin

для латинських літер я використовую

/^[A-zÀ-ÖØ-öø-ÿ]+$/ 

це уникає дефісів та спеціальних символів

/^[\pL\pM\p{Zs}.-]+$/u

Пояснення:

• \pL - відповідає будь-якому виду букви з будь-якої мови
• \pM - долучає до символу, призначеного для поєднання з іншим символом (наприклад, наголоси, умлаут, коробки, що додаються тощо)
• \p{Zs} - відповідає символу пробілу, який є невидимим, але займає місце
• u - Рядки візерунка та теми трактуються як UTF-8

На відміну від інших запропонованих регулярних виразів (таких як [A-Za-zÀ-ÖØ-öø-ÿ]), це буде працювати з усіма специфічними для мови символами, наприклад Šš, узгоджується з цим правилом, але не відповідає іншим на цій сторінці.

На жаль, JavaScript в основному не підтримує ці класи. Однак ви можете використовувати xregexp, наприклад

const XRegExp = require('xregexp');

const isInputRealHumanName = (input: string): boolean => {
  return XRegExp('^[\\pL\\pM-]+ [\\pL\\pM-]+$', 'u').test(input);
};

Діакритику можна видалити з алфавітів, використовуючи:

var str = "résumé"`
str.normalize('NFD').replace(/[\u0300-\u036f]/g, '')` // returns resume

Він видалить усі діакритичні позначки, а потім виконає ваш регекс на ньому

Довідка:

https://thread.engineering/2018-08-29-searching-and-sorting-text-with-diacritical-marks-in-javascript/