Запитання з тегом «unicode»

Який найшвидший, найпростіший інструмент або спосіб перетворення текстових файлів між наборами символів? Зокрема, мені потрібно перетворити з UTF-8 на ISO-8859-15 і навпаки. Все йде: однолінійки улюбленої мови сценаріїв, інструменти командного рядка або інші утиліти для ОС, веб-сайтів тощо. Найкращі рішення поки що: У Linux / UNIX / OS X / …

526 text  unicode  utf-8  character-set 

У мене в Python є рядок Unicode, і я хотів би видалити всі наголоси (діакритики). Я знайшов в Інтернеті елегантний спосіб зробити це на Java: перетворити рядок Unicode у його довгу нормовану форму (з окремим символом для літер та діакритики) видаліть усі символи, тип Unicode - "діакритичний". Чи потрібно мені …

506 python  python-3.x  unicode  python-2.x  diacritics 

Я чула суперечливі думки людей - згідно зі сторінкою UTF-8 Вікіпедії . Вони те саме, чи не так? Може хтось уточнить?

503 unicode  encoding  utf-8  character-encoding  terminology 

Як перетворити рядок Unicode (містить зайві символи, такі як £ $ тощо) у рядок Python?

503 python  string  unicode  type-conversion 

Які відмінності між UTF-8, UTF-16 та UTF-32? Я розумію, що всі вони зберігатимуть Unicode, і що кожен використовує різну кількість байтів для представлення символу. Чи є перевага у виборі одного над іншим?

486 unicode  utf-8  utf-16  utf  utf-32 

зразок коду: >>> import json >>> json_string = json.dumps("ברי צקלה") >>> print json_string "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4" Проблема: це не читабельно для людини. Мої (розумні) користувачі хочуть перевірити або навіть редагувати текстові файли за допомогою відвалів JSON (і я краще не використовую XML). Чи є спосіб серіалізувати об'єкти в рядки UTF-8 JSON …

473 python  json  unicode  utf-8  escaping 

Я просто повинен був написати функцію зворотного рядка в C # 2.0 (тобто LINQ недоступний) і придумав це: public string Reverse(string text) { char[] cArray = text.ToCharArray(); string reverse = String.Empty; for (int i = cArray.Length - 1; i > -1; i--) { reverse += cArray[i]; } return reverse; } …

440 c#  .net  performance  algorithm  unicode 

Я запускаю програму, яка обробляє 30 000 подібних файлів. Випадкове їх число зупиняється і видає цю помилку ... File "C:\Importer\src\dfman\importer.py", line 26, in import_chr data = pd.read_csv(filepath, names=fields) File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 400, in parser_f return _read(filepath_or_buffer, kwds) File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 205, in _read return parser.read() File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 608, in …

411 python  pandas  csv  dataframe  unicode 

Яка точна різниця між Unicode та ASCII? ASCII має загалом 128 символів (256 у розширеному наборі). Чи є специфікація розміру для символів Unicode?

407 unicode  ascii 

Що є основою для Unicode і чому необхідність UTF-8 або UTF-16? Я досліджував це в Google і шукав і тут, але мені це не зрозуміло. У VSS під час порівняння файлів іноді виникає повідомлення про те, що два файли мають різні UTF. Чому це було б так? Будь ласка, поясніть …

395 unicode  encoding  utf-8  utf-16 

Мене було збентежено, коли колега показав мені цей рядок тривоги JavaScript 42. alert(2+ 40); Виконати фрагмент кодуСховати результатиРозгорніть фрагмент Швидко виявляється, що те, що схоже на знак мінус, насправді є прихованим символом Unicode з чітко різною семантикою. Це змусило мене замислитися, чому цей символ не створює синтаксичної помилки, коли вираз …

360 javascript  unicode 

У мене є кілька дуже великих XML-файлів, і я намагаюся знайти рядки, що містять символи, що не належать до ASCII. Я спробував таке: grep -e "[\x{00FF}-\x{FFFF}]" file.xml Але це повертає кожен рядок у файлі, незалежно від того, чи містить рядок символ у вказаному діапазоні. У мене синтаксис неправильний чи я …

359 regex  unix  unicode  grep 

У чому різниця між Unicode, UTF8, UTF7, UTF16, UTF32, ASCII, і ANSIкодування? Яким чином вони корисні для програмістів?

351 unicode  character-encoding  ascii  ansi  utf 

Як знайти довжину рядка (кількість символів у рядку), не розділяючи її на R? Я знаю, як знайти довжину списку, але не рядок. А як щодо рядків Unicode? Як знайти довжину (у байтах) та кількість символів (руни, символи) у рядку Unicode? Питання, пов'язані з цим: Як знайти "реальну" кількість символів у …

348 r  string  unicode  string-length 

У мене є певна мозкова недостатність у розумінні читання та запису тексту у файл (Python 2.4). # The string, which has an a-acute in it. ss = u'Capit\xe1n' ss8 = ss.encode('utf8') repr(ss), repr(ss8) ("u'Capit \ xe1n '", "' Capit \ xc3 \ xa1n '") print ss, ss8 print >> open('f1','w'), …

329 python  unicode  utf-8  io