Яке кодування правильно відкриває файли CSV у програмі Excel на Mac та Windows?

У нас є веб-додаток, який експортує файли CSV, що містять іноземні символи з UTF-8, без BOM. І користувачі Windows, і Mac отримують символи сміття в Excel. Я спробував перейти на UTF-8 з BOM; Excel / Win добре з цим, Excel / Mac показує хитрість. Я використовую Excel 2003 / Win, Excel 2011 / Mac. Ось усі кодування, які я спробував:

Encoding  BOM      Win                            Mac
--------  ---      ----------------------------   ------------
utf-8     --       scrambled                      scrambled
utf-8     BOM      WORKS                          scrambled
utf-16    --       file not recognized            file not recognized
utf-16    BOM      file not recognized            Chinese gibberish
utf-16LE  --       file not recognized            file not recognized
utf-16LE  BOM      characters OK,                 same as Win
                   row data all in first field

Найкращим є UTF-16LE з BOM, але CSV не визнається таким. Розділювач поля є комою, але крапка з комою не змінюється.

Чи є кодування, яке працює в обох світах?

Кодування Excel

Я виявив, що WINDOWS-1252кодування є найменш засмучуючим при роботі з Excel. Оскільки в основному власний набір символів Microsofts має власний набір символів, можна припустити, що він буде працювати як на Mac, так і на версії Windows MS-Excel. Обидві версії містять принаймні відповідний селектор "Походження файлу" або "Кодування файлу", який правильно читає дані.

В залежності від вашої системи та інструментів , які ви використовуєте, це кодування також може бути названа CP1252, ANSI, Windows (ANSI), MS-ANSIабо просто Windows, серед інших варіантів.

Це кодування є надбудовою ISO-8859-1(він же LATIN1і інші), так що ви можете Відкат до , ISO-8859-1якщо ви не можете використовувати WINDOWS-1252з будь - якої причини. Зверніть увагу, що ISO-8859-1відсутні деякі символи, WINDOWS-1252як показано тут:

| Char | ANSI | Unicode | ANSI Hex | Unicode Hex | HTML entity | Unicode Name                               | Unicode Range            |
| €    | 128  | 8364    | 0x80     | U+20AC      | €      | euro sign                                  | Currency Symbols         |
| ‚    | 130  | 8218    | 0x82     | U+201A      | ‚     | single low-9 quotation mark                | General Punctuation      |
| ƒ    | 131  | 402     | 0x83     | U+0192      | ƒ      | Latin small letter f with hook             | Latin Extended-B         |
| „    | 132  | 8222    | 0x84     | U+201E      | „     | double low-9 quotation mark                | General Punctuation      |
| …    | 133  | 8230    | 0x85     | U+2026      | …    | horizontal ellipsis                        | General Punctuation      |
| †    | 134  | 8224    | 0x86     | U+2020      | †    | dagger                                     | General Punctuation      |
| ‡    | 135  | 8225    | 0x87     | U+2021      | ‡    | double dagger                              | General Punctuation      |
| ˆ    | 136  | 710     | 0x88     | U+02C6      | ˆ      | modifier letter circumflex accent          | Spacing Modifier Letters |
| ‰    | 137  | 8240    | 0x89     | U+2030      | ‰    | per mille sign                             | General Punctuation      |
| Š    | 138  | 352     | 0x8A     | U+0160      | Š    | Latin capital letter S with caron          | Latin Extended-A         |
| ‹    | 139  | 8249    | 0x8B     | U+2039      | ‹    | single left-pointing angle quotation mark  | General Punctuation      |
| Π   | 140  | 338     | 0x8C     | U+0152      | Π    | Latin capital ligature OE                  | Latin Extended-A         |
| Ž    | 142  | 381     | 0x8E     | U+017D      |             | Latin capital letter Z with caron          | Latin Extended-A         |
| ‘    | 145  | 8216    | 0x91     | U+2018      | ‘     | left single quotation mark                 | General Punctuation      |
| ’    | 146  | 8217    | 0x92     | U+2019      | ’     | right single quotation mark                | General Punctuation      |
| “    | 147  | 8220    | 0x93     | U+201C      | “     | left double quotation mark                 | General Punctuation      |
| ”    | 148  | 8221    | 0x94     | U+201D      | ”     | right double quotation mark                | General Punctuation      |
| •    | 149  | 8226    | 0x95     | U+2022      | •      | bullet                                     | General Punctuation      |
| –    | 150  | 8211    | 0x96     | U+2013      | –     | en dash                                    | General Punctuation      |
| —    | 151  | 8212    | 0x97     | U+2014      | —     | em dash                                    | General Punctuation      |
| ˜    | 152  | 732     | 0x98     | U+02DC      | ˜     | small tilde                                | Spacing Modifier Letters |
| ™    | 153  | 8482    | 0x99     | U+2122      | ™     | trade mark sign                            | Letterlike Symbols       |
| š    | 154  | 353     | 0x9A     | U+0161      | š    | Latin small letter s with caron            | Latin Extended-A         |
| ›    | 155  | 8250    | 0x9B     | U+203A      | ›    | single right-pointing angle quotation mark | General Punctuation      |
| œ    | 156  | 339     | 0x9C     | U+0153      | œ     | Latin small ligature oe                    | Latin Extended-A         |
| ž    | 158  | 382     | 0x9E     | U+017E      |             | Latin small letter z with caron            | Latin Extended-A         |
| Ÿ    | 159  | 376     | 0x9F     | U+0178      | Ÿ      | Latin capital letter Y with diaeresis      | Latin Extended-A         |

Зауважте, що знак євро відсутній . Цю таблицю можна знайти в Alan Wood .

Перетворення

Перетворення здійснюється по-різному в кожному інструменті та мові. Однак припустимо, що у вас є файл, query_result.csvякий, на вашу думку, UTF-8закодований. Перетворіть його на WINDOWS-1252використання iconv:

iconv -f UTF-8 -t WINDOWS-1252 query_result.csv > query_result-win.csv

Для UTF-16LE з BOM, якщо ви використовуєте символи вкладок як ваші роздільники, а не коми Excel розпізнає поля. Причина цього працює в тому, що Excel фактично закінчується використанням свого аналізатора Unicode * .txt.

Caveat : Якщо файл буде відредаговано в Excel і збережено, він буде збережений як ASCII з обмеженими вкладками. Проблема зараз полягає в тому, що при повторному відкритті файлу Excel передбачає, що це справжній CSV (з комами), він бачить, що це не Unicode, тому аналізує його як обмежений комами - і, отже, зробить хеш-код!

Оновлення : Наведений вище застереження, схоже, не відбувається для мене сьогодні в Excel 2010 (Windows), принаймні, хоча, схоже, є різниця в економії поведінки, якщо:

• ви редагуєте та виходите з Excel (намагається зберегти як "Unicode * .txt")

у порівнянні з:

• редагування та закриття просто файлу (працює як очікувалося).

Низький результат: Рішення немає. Excel 2011 / Mac не може правильно інтерпретувати файл CSV, що містить умілки та діакритичні позначки, незалежно від того, яке кодування чи стрибки з обручем ви робите. Буду радий почути, як хтось інший розповідає мені!

Ви лише спробували CSV-розділений комою та крапкою з комою. Якби ви спробували CSV-розділений CSV (його також називають TSV), ви знайшли б відповідь:

UTF-16LE з BOM (позначка порядку байтів), розділена на вкладку

Але : У коментарі ви згадуєте, що TSV - це не варіант для вас (я не зміг знайти цю вимогу у вашому запитанні). Це шкода. Це часто означає, що ви дозволяєте вручну редагувати файли TSV, що, мабуть, не є хорошою ідеєю. Візуальна перевірка файлів TSV не є проблемою. Крім того, редактори можуть бути налаштовані для відображення спеціального символу для маркування вкладок.

І так, я спробував це на Windows і Mac.

Ось перекладач щодо імпортування CSV, кодованого utf8, в Excel 2011 для Mac: Microsoft каже: "Excel для Mac наразі не підтримує UTF-8." Excel для Mac 2011 та UTF-8

Так, МС!

Найкраще рішення для читання файлів CSV з UTF-8 на Mac - це перетворення їх у формат XLSX. Я знайшов сценарій, зроблений Конрадом Фоерстнером, який я трохи вдосконалив, додавши підтримку різних символів розмежувача.

Завантажте сценарій з Github https://github.com/brablc/clit/blob/master/csv2xlsx.py . Для того , щоб запустити його вам потрібно буде встановити модуль пітона openpyxl для обробки файлів Excel: sudo easy_install openpyxl.

У моєму випадку це спрацювало (Mac, Excel 2011, як кириличні, так і латинські символи з чеською діакритикою):

• Charset UTF-16LE (просто UTF-16 було недостатньо)
• BOM "\ xFF \ xFE"
• \ t (вкладка) як роздільник
• Не забудьте кодувати також роздільник та CRLF :-)
• Використовуйте iconv замість mb_convert_encoding

Мені здається, що Excel 2011 для Mac OS не використовує Encoding.GetEncoding ("10000"), як я думав і витрачав на 2 дні, але той самий iso, що і в ОС Microsoft. Найкращим доказом цього є створення файлу в Excel 2011 для MAC за допомогою спеціальних символів, збереження його як CSV та відкриття в текстовому редакторі MAC, а символи скрембліровані.

Для мене цей підхід спрацював - це означає, що експорт csv в Excel 2011 на MAC OS має спеціальні символи західної Європи всередині:

Encoding isoMacOS = Encoding.GetEncoding("iso-8859-1");
Encoding defaultEncoding = Encoding.Default; 

// Convert the string into a byte array.
byte[] defaultEncodingBytes = defaultEncoding.GetBytes(exportText);

// Perform the conversion from one encoding to the other.
byte[] ansiBytes = Encoding.Convert(defaultEncoding, isoMacOS, defaultEncodingBytes);

decodedString = isoMacOS.GetString(ansiBytes);

UTF-8 без BOM наразі працює для мене в Excel Mac 2011 14.3.2.

UTF-8 + BOM працює, але BOM сприймається як безглуздість.

UTF-16 працює, якщо ви імпортуєте файл і виконаєте майстра, але не якщо ви двічі клацніть його.

У програмах Excel для Mac 2011 та Windows Excel 2002 працювали наступні моменти:

1. Використовуючи iconv на Mac, перетворіть файл у UTF-16 Little-Endian + назвіть його * .txt (розширення .txt змушує Excel запустити майстра імпорту тексту):

   iconv -f UTF-8 -t UTF-16LE filename.csv >filename_UTF-16LE.csv.txt

2. Відкрийте файл у Excel та у майстрі імпорту тексту виберіть:

   • Крок 1. Походження файлу : ігноруйте його, не має значення, що ви обираєте
   • Крок 2: виберіть правильні значення для розділових знаків та кваліфікатора тексту
   • Крок 3: при необхідності виберіть формати стовпців

PS На початку UTF-16LE, створений iconv, має BOM байти FF FE на початку.

PPS Мій оригінальний файл csv був створений на комп'ютері під керуванням Windows 7, у форматі UTF-8 (з байтами BOM EF BB BF на початку) та використовував розриви рядків CRLF. Кома використовувалася як роздільник поля, а окрема цитата - як класифікатор тексту. Він містив букви ASCII плюс різні латинські літери з тильдами, умлаутами тощо, а також кирилицею. Усі відображаються належним чином як в Excel для Win, так і в Mac.

Точні версії програмного забезпечення PPPS:
* Mac OS X 10.6.8
* Excel для Mac 2011 v.14.1.3
* Windows Server 2003 SP2
* Windows Excel 2002 v.10.2701.2625

У моїй Mac OS Text Wrangler ідентифікував файл CSV, створений за допомогою Excel, як "західне" кодування.

Після деякого googling я зробив цей невеликий сценарій (я не впевнений у наявності Windows, можливо, із Cygwin ?):

$ cat /usr/local/bin/utf8.sh

#!/bin/bash

INPUTFILE="$1"

iconv -f macroman -c -t UTF-8 $INPUTFILE |tr '\r' '\n' >/tmp/file.$$.csv

mv $INPUTFILE ms_trash
mv /tmp/file.$$.csv $INPUTFILE

У моєму випадку додавання Преамбули до файлу вирішило мою проблему:

var data = Encoding.UTF8.GetBytes(csv);
var result = Encoding.UTF8.GetPreamble().Concat(data).ToArray();
return File(new MemoryStream(result), "application/octet-stream", "data.csv");

замість csv, намагаючись вивести html з розширенням XLS та mime-type "application / excel". Я знаю, що це буде працювати в Windows, але я не можу говорити про MacOS

Це працює для мене

1. Відкрийте файл у BBEdit або TextWrangler *.
2. Встановіть файл як Unicode (UTF-16 Little-Endian) (Закінчення рядків можуть бути Unix або Windows). Збережіть!
3. У Excel: Дані> Отримати зовнішні дані> Імпортувати текстовий файл ...

Тепер ключовим моментом виберіть MacIntosh як файл Origin (це повинен бути перший вибір).

Для цього використовується Excel 2011 (версія 14.4.2)

* У нижній частині вікна є невелике спадне місце

Вирішіть це за допомогою java (UTF-16LE з BOM):

String csvReportStr = getCsvReport();
byte[] data = Charset.forName("UTF-16LE").encode(csvReportStr)
    .put(0, (byte) 0xFF)
    .put(1, (byte) 0xFE)
    .array();

Зауважте, що файл CSV повинен використовуватись TABяк роздільник. Файл CSV можна читати як у Windows, так і в MAC OS X.

Зверніться до: Як кодувати / декодувати UTF-16LE байтові масиви за допомогою BOM?