Запитання з тегом «unicode»

Я збираюся задати, напевно, досить суперечливе запитання: "Чи слід вважати шкідливим одне з найпопулярніших кодувань, UTF-16?" Чому я задаю це питання? Скільки програмістів усвідомлює той факт, що UTF-16 насправді кодує змінну довжину? Під цим я маю на увазі, що є кодові точки, які, представлені сурогатними парами, займають більше одного елемента. …

432 unicode 

У випадку, якщо вторгнення прибульців відбулося, і ми змушені були підтримувати їхні мови у всіх наших існуючих комп'ютерних системах, чи UTF-8 розроблений таким чином, щоб забезпечити їх можливо велику кількість символів? (Звичайно, ми не знаємо, чи справді інопланетяни володіють мовами, чи або як вони спілкуються, але заради аргументації, будь ласка, …

86 unicode  utf-8 

Нещодавно я намагався реалізувати алгоритм ранжування AllegSkill до Python 3. Ось як виглядає математика: Насправді ні. Ось що я написав: t = (µw-µl)/c # those are used in e = ε/c # multiple places. σw_new = (σw**2 * (1 - (σw**2)/(c**2)*Wwin(t, e)) + γ**2)**.5 Насправді я вважав, що Python 3 …

82 naming  unicode 

Я подумав, що Unicode був розроблений, щоб обійти всю проблему наявності безлічі різного кодування через невеликий адресний простір (8 біт) у більшості попередніх спроб (ASCII тощо). Чому тоді так багато кодувань Unicode? Навіть кілька версій (по суті) одного і того ж, як UTF-8, UTF-16 тощо.

41 unicode  text-encoding 

Наше програмне забезпечення для бізнесу дозволяє користувачеві зберігати певні дані як CSV . Оскільки в дикій природі використовується безліч різних форматів (усіх називають "CSV"), ми вирішуємо, як повинен виглядати "формат за замовчуванням". Що стосується розділювачів лінії та поля та втечі, то ми можемо використовувати стандарт: RFC 4180 . Що стосується …

37 standards  unicode  csv  file-formats 

В Unicode Умови використання стані , що будь-яке програмне забезпечення , яке використовує свої файли даних (або модифікація них) повинні нести посилання ліцензії Unicode. Мені здається, що більшість бібліотек Unicode мають функції перевірки того, чи є символ цифрою, буквою, символом тощо, і тому буде містити модифікацію файлів даних Unicode (зазвичай …

35 unicode  licensing 

Я вивчаю T-SQL. З прикладів, які я бачив, щоб вставити текст у varchar()комірку, я можу написати лише рядок для вставки, але для nvarchar()комірок кожен приклад префіксує рядки буквою N. Я спробував наступний запит на таблиці, у якій є nvarchar()рядки, і він працює чудово, тому префікс N не потрібен: insert into …

34 sql  sql-server  character-encoding  unicode 

Моє домашнє тварина переглядає стільки програмних проектів, які мають гори коду для підтримки набору символів. Не зрозумійте мене неправильно, я весь за сумісність, і я радий, що текстові редактори дозволяють відкривати та зберігати файли в декількох наборах символів. Мене дратує те, як розповсюдження не універсальних кодувань символів позначається "належною підтримкою …

31 unicode  utf-8  character-encoding 

Я б міг уявити, що причина була швидкою, масив, як доступ до символу в індексі, але деякі символи не впишуться в 16 біт, тому це не буде працювати ... Тож якщо вам доведеться в будь-якому разі обробляти особливі справи, чому б просто не використовувати UTF-8?

29 java  strings  unicode 

На роботі я натрапив на багато японських текстових файлів у Shift-JIS та інших кодуваннях. Це спричиняє багато проблем mojibake (нечитабельних символів) для всіх користувачів комп'ютерів. Unicode мав на меті вирішити подібну проблему шляхом визначення єдиного набору символів для всіх мов, а серіалізація UTF-8 рекомендується використовувати в Інтернеті. Так чому ж …

24 legacy  unicode  character-encoding 

У Unicode може бути 50 пробілів \ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u00A0 \ u1680 \ u180E \ u2000- \ u200A \ u2028 \ u2029 \ u202F \ u205F \ u3000] [\ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u00A \ \ …

19 unicode 

Всім відомо, що у PHP є проблеми з Unicode. Версія 6 фактично скасована через труднощі з впровадженням Unicode. Але мені цікаво, чи хтось знає, які точні причини? Проблеми з архітектурою / дизайном, питаннями щодо продуктивності, проблемами громади (не сумніваюся), чимось іншим?

18 php  open-source  architecture  language-design  unicode 

Я тільки дивився презентацію Джона Скіта (з Тоні Поні) від Dev-Days. Хоча "записувати функцію зворотного рядка" є інтерв'ю 101 кодування - я не впевнений, що насправді можливо записати загальну функцію зворотного рядка, звичайно не ту, яка працює у всіх локалізаціях та всіх типах рядків. Крім визначення того, чи є вхідна …

16 algorithms  strings  unicode  localization 

Чи є UTF-16 фіксованої або змінної ширини? Я отримав різні результати з різних джерел: Від http://www.tbray.org/ongoing/When/200x/2003/04/26/UTF : UTF-16 зберігає символи Unicode в шістнадцять бітових фрагментах. З http://en.wikipedia.org/wiki/UTF-16/UCS-2 : UTF-16 (16-розрядний формат перетворення Unicode) - це кодування символів для Unicode, здатне кодувати 1,112,064 [1] числа (звані кодові точки) у просторі коду …

16 unicode  character-encoding  utf-8 

Я розробляю формат файлу і хочу зробити це правильно. Оскільки це двійковий формат, найперший байт (або байти) файлу не повинен утворювати дійсних текстових символів (як у заголовку 1 файлу PNG ). Це дозволяє інструментам, які не розпізнають формат, все одно бачити, що це не текстовий файл, переглядаючи перші кілька байтів. …

14 unicode