Як використовувати UTF-8 Collation у базі даних SQL Server?

Я переніс базу даних з mysql на SQL Server (політика), оригінальну базу даних mysql за допомогою UTF8.

Зараз я читаю /dba/7346/sql-server-2005-2008-utf-8-collation-charset, що SQL Server 2008 не підтримує utf8, це жарт?

SQL Server містить кілька баз даних, переважно кодованих латиною. Оскільки перенесена база даних призначена для публікації в Інтернеті, я хочу зберегти utf8-кодування. Я щось пропустив чи мені потрібно кодувати / відміняти на рівні програми?

Немає! Це не жарт.

Погляньте тут: http://msdn.microsoft.com/en-us/library/ms186939.aspx

Типи даних символів, які мають фіксовану довжину, nchar або змінну довжину, дані nvarchar, Unicode та використовують набір символів UNICODE UCS-2.

А також тут: http://en.wikipedia.org/wiki/UTF-16

Старіший UCS-2 (2-байтовий універсальний набір символів) - це подібне кодування символів, замінене UTF-16 у версії 2.0 стандарту Unicode в липні 1996 року.

UTF-8 - це не набір символів, це кодування. Набір символів для UTF-8 - Unicode. Якщо ви хочете зберегти текст Unicode, ви використовуєте nvarcharтип даних.

Якщо база даних буде використовувати UTF-8 для зберігання тексту, ви все одно не отримаєте текст як закодовані дані UTF-8, ви отримаєте його як декодований текст.

Ви можете легко зберегти в базі даних текст, закодований UTF-8, але тоді ви не зберігаєте його як текст, а як двійкові дані ( varbinary).

Схоже, це нарешті буде підтримано в SQL Server 2019! SQL Server 2019 - що нового?

З BOL:

Підтримка UTF-8

Повна підтримка широко використовуваного кодування символів UTF-8 як кодування імпорту чи експорту або як порівняння на рівні бази даних або на рівні стовпця для текстових даних. UTF-8 допускається в CHARі VARCHARтипів даних, і включається при створенні або зміні звірку об'єкта в зіставленні з UTF8суфіксом.

Наприклад, LATIN1_GENERAL_100_CI_AS_SCдо LATIN1_GENERAL_100_CI_AS_SC_UTF8. UTF-8 доступний лише для збірок Windows, які підтримують додаткові символи, як це було представлено в SQL Server 2012. NCHARі NVARCHARдозволяють лише кодування UTF-16, і залишаються незмінними.

Ця функція може забезпечити значну економію пам’яті, залежно від використовуваного набору символів. Наприклад, зміна існуючого типу даних стовпців із рядками ASCII з NCHAR(10)на CHAR(10)використання збігу, що підтримує UTF-8, призводить до зменшення вимог до зберігання майже на 50%. Це зменшення пояснюється тим, що NCHAR(10)для зберігання потрібно 22 байта, тоді як CHAR(10)для того самого рядка Unicode потрібно 12 байт.

2019-05-14 оновлення:

Здається, що документація оновлюється зараз і пояснює наші варіанти, які виглядають у MSSQL 2019 у розділі " Підтримка збору та Unicode ".

2019-07-24 оновлення:

Стаття Педро Лопеса - старшого менеджера програми @ Microsoft про введення підтримки UTF-8 для бази даних Azure SQL

Зверніть увагу , що за станом на Microsoft SQL Server 2016, UTF-8 підтримується bcp, BULK_INSERTі OPENROWSET.

Додаток 2016-12-21: SQL Server 2016 SP1 тепер включає стиснення Unicode (та більшість інших раніше лише функцій, призначених для підприємств) для всіх версій MS SQL, включаючи Standard та Express. Це не те саме, що підтримка UTF-8, але дає подібну перевагу, якщо метою є зменшення дискового простору для західних алфавітів.

Два UDF для роботи з UTF-8 в T-SQL:

CREATE Function UcsToUtf8(@src nvarchar(MAX)) returns varchar(MAX) as
begin
    declare @res varchar(MAX)='', @pi char(8)='%[^'+char(0)+'-'+char(127)+']%', @i int, @j int
    select @i=patindex(@pi,@src collate Latin1_General_BIN)
    while @i>0
    begin
        select @j=unicode(substring(@src,@i,1))
        if @j<0x800     select @res=@res+left(@src,@i-1)+char((@j&1984)/64+192)+char((@j&63)+128)
        else            select @res=@res+left(@src,@i-1)+char((@j&61440)/4096+224)+char((@j&4032)/64+128)+char((@j&63)+128)
        select @src=substring(@src,@i+1,datalength(@src)-1), @i=patindex(@pi,@src collate Latin1_General_BIN)
    end
    select @res=@res+@src
    return @res
end

CREATE Function Utf8ToUcs(@src varchar(MAX)) returns nvarchar(MAX) as
begin
    declare @i int, @res nvarchar(MAX)=@src, @pi varchar(18)
    select @pi='%[à-ï][€-¿][€-¿]%',@i=patindex(@pi,@src collate Latin1_General_BIN)
    while @i>0 select @res=stuff(@res,@i,3,nchar(((ascii(substring(@src,@i,1))&31)*4096)+((ascii(substring(@src,@i+1,1))&63)*64)+(ascii(substring(@src,@i+2,1))&63))), @src=stuff(@src,@i,3,'.'), @i=patindex(@pi,@src collate Latin1_General_BIN)
    select @pi='%[Â-ß][€-¿]%',@i=patindex(@pi,@src collate Latin1_General_BIN)
    while @i>0 select @res=stuff(@res,@i,2,nchar(((ascii(substring(@src,@i,1))&31)*64)+(ascii(substring(@src,@i+1,1))&63))), @src=stuff(@src,@i,2,'.'),@i=patindex(@pi,@src collate Latin1_General_BIN)
    return @res
end