Microsoft Excel обробляє діакритику у файлах .csv?

Я програмно експортую дані (за допомогою PHP 5.2) у тестовий файл .csv.
Приклад даних: Numéro 1(зверніть увагу на наголошене е). Дані є utf-8(без попереднього BOM).

Коли я відкриваю цей файл у MS Excel, відображається як Numéro 1.

Я можу відкрити це в текстовому редакторі (UltraEdit), який відображає його правильно. UE повідомляє, що персонаж є decimal 233.

Як я можу експортувати текстові дані у файл .csv, щоб MS Excel правильно візуалізував їх, бажано, не змушуючи використовувати майстра імпорту чи не за замовчуванням налаштувань майстра?

Правильно відформатований файл UTF8 може мати позначку порядку байт як його перші три октети. Це шістнадцяткові значення 0xEF, 0xBB, 0xBF. Ці октети служать для позначення файлу як UTF8 (оскільки вони не стосуються інформації "порядку байтів"). 1 Якщо цього BOM не існує, споживачеві / читачу залишається зробити висновок про тип кодування тексту. Читачі, які не здатні UTF8, будуть читати байти як деякі інші кодування, такі як Windows-1252, і відображати символи на початку файлу.

Відома помилка, де Excel, відкриваючи файли CSV UTF8 через об'єднання файлів, припускає, що вони знаходяться в однобайтовому кодуванні, не враховуючи присутність BOM UTF8. Це не може бути виправлено будь-якою кодовою сторінкою системи або мовою за замовчуванням. BOM не підкаже в Excel - він просто не працюватиме. (Звіт про меншину стверджує, що BOM іноді спрацьовує майстра "Імпортувати текст".) Здається, ця помилка існує в Excel 2003 і раніше. Більшість звітів (серед відповідей тут) кажуть, що це виправлено у програмі Excel 2007 та новіших версіях.

Зауважте, що ви завжди можете * правильно відкрити файли CSV UTF8 в Excel за допомогою майстра "Імпорт тексту", який дозволяє вказати кодування файлу, який ви відкриваєте. Звичайно, це набагато менш зручно.

Читачі цієї відповіді, швидше за все, знаходяться в ситуації, коли вони особливо не підтримують Excel <2007, але надсилають необроблений текст UTF8 в Excel, який неправильно трактує його та посипає ваш текст Ãта іншими подібними символами Windows-1252. Додавання UTF8 BOM - це, мабуть, найкращий та швидкий виправлення.

Якщо ви застрягли з користувачами на старих програмах Excels, а Excel є єдиним споживачем ваших CSV-файлів, ви можете обійти це шляхом експорту UTF16 замість UTF8. Excel 2000 та 2003 подвійно натискатимуть їх правильно. (Деякі інші текстові редактори можуть мати проблеми з UTF16, тому вам, можливо, доведеться уважно зважити свої параметри.)

_{* За винятком випадків, коли ви не можете, (принаймні) майстер імпорту Mac Excel 2011 не завжди працює з усіма кодуваннями, незалежно від того, що ви їм сказали. </anecdotal-evidence> :)}

Передбачаючи, що BOM (\ uFEFF) працював на мене (Excel 2007), в цьому Excel розпізнав файл як UTF-8. В іншому випадку збереження та використання майстра імпорту працює, але менш ідеально.

Нижче наведено PHP-код, який я використовую в своєму проекті, коли надсилаю Microsoft Excel користувачеві:

  /**
   * Export an array as downladable Excel CSV
   * @param array   $header
   * @param array   $data
   * @param string  $filename
   */
  function toCSV($header, $data, $filename) {
    $sep  = "\t";
    $eol  = "\n";
    $csv  =  count($header) ? '"'. implode('"'.$sep.'"', $header).'"'.$eol : '';
    foreach($data as $line) {
      $csv .= '"'. implode('"'.$sep.'"', $line).'"'.$eol;
    }
    $encoded_csv = mb_convert_encoding($csv, 'UTF-16LE', 'UTF-8');
    header('Content-Description: File Transfer');
    header('Content-Type: application/vnd.ms-excel');
    header('Content-Disposition: attachment; filename="'.$filename.'.csv"');
    header('Content-Transfer-Encoding: binary');
    header('Expires: 0');
    header('Cache-Control: must-revalidate, post-check=0, pre-check=0');
    header('Pragma: public');
    header('Content-Length: '. strlen($encoded_csv));
    echo chr(255) . chr(254) . $encoded_csv;
    exit;
  }

ОНОВЛЕНО: Вдосконалення імені файлу та виправлення виправленої довжини BUG виправлення. Завдяки TRiG та @ ivanhoe011

Відповідь на всі комбінації версій Excel (2003 + 2007) та типів файлів

Більшість інших відповідей тут стосуються лише їх версії Excel і не обов'язково допоможуть вам, оскільки їх відповідь може бути неправдивою для вашої версії Excel.

Наприклад, додавання символу BOM створює проблеми з автоматичним розпізнаванням стовпців, але не з кожною версією Excel.

Існує 3 змінні, які визначають, чи працює він у більшості версій Excel:

• Кодування
• Наявність персонажа BOM
• Роздільник клітин

Хтось стоїк в SAP спробував кожну комбінацію та повідомив про результат. Кінцевий результат? Використовуйте UTF16le з символом BOM та вкладкою як роздільник, щоб він працював у більшості версій Excel.

Ви мені не вірите? Я не хотів би, але читайте тут і плачу: http://wiki.sdn.sap.com/wiki/display/ABAP/CSV+tests+of+encoding+and+column+separator

виберіть UTF-8, що складається під час імпорту. якщо ви використовуєте Office 2007, саме тут ви вибрали його: відразу після відкриття файлу.

Echo UTF-8 BOM перед виведенням даних CSV. Це виправляє всі проблеми з персонажами в Windows, але не працює для Mac.

echo "\xEF\xBB\xBF";

Це працює для мене, тому що мені потрібно генерувати файл, який буде використовуватися лише на ПК з Windows.

UTF-8 не працює для мене в офісі 2007 без будь-якого пакета обслуговування, з або без BOM (U + ffef або 0xEF, 0xBB, 0xBF, ні працює), встановлення sp3 змушує UTF-8 працювати, коли 0xEF, 0xBB, 0xBF BOM є заздалегідь.

UTF-16 працює при кодуванні в python, використовуючи "utf-16-le" з попередньою BOM 0xff 0xef і використовуючи вкладку в якості сепаратора. Мені довелося вручну виписати BOM, а потім скористатися "utf-16-le", а не "utf-16", інакше кожний encode () передував BOM до кожного записаного рядка, який з'явився як сміття в першому стовпчику другий рядок і після.

не можу сказати, чи буде UTF-16 працювати без встановленого спр., тому що я не можу повернутися назад. зітхати

Це на windows, не знаю про офіс для MAC.

для обох робочих випадків імпорт працює при запуску завантаження безпосередньо з браузера, а майстер імпорту тексту не втручається, він працює так, як ви очікували.

Як сказав Фрегал, \ uFEFF - це шлях.

<%@LANGUAGE="JAVASCRIPT" CODEPAGE="65001"%>
<%
Response.Clear();
Response.ContentType = "text/csv";
Response.Charset = "utf-8";
Response.AddHeader("Content-Disposition", "attachment; filename=excelTest.csv");
Response.Write("\uFEFF");
// csv text here
%>

Я також помітив, що на це питання "відповіли" деякий час тому, але я не розумію історії, в якій говориться, що ви не можете успішно відкрити файл csv, закодований utf8, в Excel, не використовуючи текстового майстра.

Мій досвід відтворення: Введіть Old MacDonald had a farm,ÈÌÉÍØу Блокнот, натисніть Enter, а потім Зберегти як (використовуючи опцію UTF-8).

Використання Python для показу того, що насправді є:

>>> open('oldmac.csv', 'rb').read()
'\xef\xbb\xbfOld MacDonald had a farm,\xc3\x88\xc3\x8c\xc3\x89\xc3\x8d\xc3\x98\r\n'
>>> ^Z

Добре. Блокнот поставив BOM спереду.

Тепер увійдіть у Провідник Windows, двічі клацніть ім'я файлу або клацніть правою кнопкою миші та скористайтеся пунктом "Відкрити за допомогою ..." та спливає Excel (2003) із відображенням, як очікувалося.

Ви можете зберегти файл HTML з розширенням 'xls', і наголоси спрацюють (принаймні до 2007 року).

Приклад: збережіть це (використовуючи Save As utf8 у Блокноті) як test.xls:

<html>
<meta http-equiv="Content-Type" content="text/html" charset="utf-8" />
<table>
<tr>
  <th>id</th>
  <th>name</th>
</tr>
<tr>
 <td>4</td>
 <td>Hélène</td>
</tr>
</table>
</html>

Це лише питання кодування символів. Схоже, ви експортуєте свої дані як UTF-8: у UTF-8 є двобайтова послідовність 0xC3 0xA9, яка при інтерпретації в Windows-1252 є ©. Коли ви імпортуєте свої дані в Excel, не забудьте сказати, що кодування символів, яке ви використовуєте, є UTF-8.

Формат CSV реалізований як ASCII, а не unicode, в Excel, таким чином керуючи діакритикою. У нас виникла та сама проблема, як я зрозумів, що офіційний стандарт CSV був визначений як ASCII на базі Excel.

Excel 2007 належним чином читає UTF-8 з кодуванням BOM (EF BB BF).

Excel 2003 (а може і раніше) читає UTF-16LE з BOM (FF FE), але з таблицями TAB замість коми або крапки з комою.

Я можу змусити CSV правильно розібратися в Excel 2007 як розділений табуляцією маленький ендіанський UTF-16, починаючи з належного позначення порядку байтів.

Запис BOM у вихідний CSV-файл насправді працював для мене у Django:

def handlePersoonListExport(request):
    # Retrieve a query_set
    ...

    template = loader.get_template("export.csv")
    context = Context({
        'data': query_set,
    })

    response = HttpResponse()
    response['Content-Disposition'] = 'attachment; filename=export.csv'
    response['Content-Type'] = 'text/csv; charset=utf-8'
    response.write("\xEF\xBB\xBF")
    response.write(template.render(context))

    return response

Для отримання додаткової інформації http://crashcoursing.blogspot.com/2011/05/exporting-csv-with-special-characters.html Дякую, хлопці!

Ще одне знайдене нами рішення - це просто кодувати результат у вигляді коду Windows Page 1252 (Windows-1252 або CP1252). Це можна зробити, наприклад, встановивши Content-Typeвідповідним чином щось подібне text/csv; charset=Windows-1252та встановивши кодування символів потоку відповідей аналогічно.

Зауважте, що включення UTF-8 BOM не обов'язково є гарною ідеєю - версії Mac Excel ігнорують його і фактично відображатимуть BOM як ASCII ... три неприємні символи на початку першого поля вашої електронної таблиці ...

Перевірте кодування, в якому ви генеруєте файл, щоб Excel відображав файл правильно, ви повинні використовувати системну кодову сторінку за замовчуванням.

Якою мовою ви користуєтесь? якщо це .Net, вам потрібно використовувати лише Encoding.Default під час генерації файлу.

Якщо у вас є застарілий код на vb.net, як у мене, наступний код працював для мене:

    Response.Clear()
    Response.ClearHeaders()
    Response.ContentType = "text/csv"
    Response.Expires = 0
    Response.AddHeader("Content-Disposition", "attachment; filename=export.csv;")
    Using sw As StreamWriter = New StreamWriter(Context.Response.OutputStream, System.Text.Encoding.Unicode)
        sw.Write(csv)
        sw.Close()
    End Using
    Response.End()

Я знайшов спосіб вирішити проблему. Це неприємний злом, але він працює: відкрийте документ з Open Office , а потім збережіть його у будь-якому форматі Excel; отримані .xlsабо .xlsxвідображатимуться наголошені символи.

За допомогою Ruby 1.8.7 я кодую кожне поле до UTF-16 і відкидаю BOM (можливо).

Наступний код витягується з active_scaffold_export:

<%                                                                                                                                                                                                                                                                                                                           
      require 'fastercsv'                                                                                                                                                                                                                                                                                                        
      fcsv_options = {                                                                                                                                                                                                                                                                                                           
        :row_sep => "\n",                                                                                                                                                                                                                                                                                                        
        :col_sep => params[:delimiter],                                                                                                                                                                                                                                                                                          
        :force_quotes => @export_config.force_quotes,                                                                                                                                                                                                                                                                            
        :headers => @export_columns.collect { |column| format_export_column_header_name(column) }                                                                                                                                                                                                                                
      }                                                                                                                                                                                                                                                                                                                          

      data = FasterCSV.generate(fcsv_options) do |csv|                                                                                                                                                                                                                                                                           
        csv << fcsv_options[:headers] unless params[:skip_header] == 'true'                                                                                                                                                                                                                                                      
        @records.each do |record|                                                                                                                                                                                                                                                                                                
          csv << @export_columns.collect { |column|                                                                                                                                                                                                                                                                              
            # Convert to UTF-16 discarding the BOM, required for Excel (> 2003 ?)                                                                                                                                                                                                                                     
            Iconv.conv('UTF-16', 'UTF-8', get_export_column_value(record, column))[2..-1]                                                                                                                                                                                                                                        
          }                                                                                                                                                                                                                                                                                                                      
        end                                                                                                                                                                                                                                                                                                                      
      end                                                                                                                                                                                                                                                                                                                        
    -%><%= data -%>

Важливий напрямок:

Iconv.conv('UTF-16', 'UTF-8', get_export_column_value(record, column))[2..-1]

відкрийте файл csv із блокнотом ++ клацанням на Encode, виберіть конвертувати в UTF-8 (не конвертувати в UTF-8 (без BOM)).