Отже, після деяких досліджень ми вирішили все-таки зробити це на стороні SQL, перш ніж передавати в сховище даних. Але ми застосовуємо цей значно вдосконалений підхід (виходячи з наших потреб та нового розуміння того, як працює маска).
За допомогою цього запиту ми отримуємо список назв стовпців та їх порядкових позицій. Повернення повертається у форматі XML, щоб ми могли перейти до SQL CLR.
DECLARE @colListXML varchar(max);
SET @colListXML = (SELECT column_name, column_ordinal
FROM cdc.captured_columns
INNER JOIN cdc.change_tables
ON captured_columns.[object_id] = change_tables.[object_id]
WHERE capture_instance = 'dbo_OurTableName'
FOR XML Auto);
Потім ми передаємо цей блок XML у вигляді змінної та поле маски до функції CLR, яка повертає рядок, розміщений комою, стовпців, які змінилися у двійковому полі _ $ update_mask. Ця функція CLR запитує поле маски для зміни бітів для кожного стовпця у списку xml, а потім повертає його ім'я з відповідного порядкового коду.
SELECT cdc.udf_clr_ChangedColumns(@colListXML,
CAST(__$update_mask AS VARCHAR(MAX))) AS changed
FROM cdc.dbo_OurCaptureTableName
WHERE NOT __$update_mask IS NULL;
Код c # clr виглядає приблизно так: (компілюється в збірку під назвою CDCUtilities)
using System;
using System.Data;
using System.Data.SqlClient;
using System.Data.SqlTypes;
using Microsoft.SqlServer.Server;
public partial class UserDefinedFunctions
{
[Microsoft.SqlServer.Server.SqlFunction]
public static SqlString udf_clr_cdcChangedColumns(string columnListXML, string updateMaskString)
{
/* xml of column ordinals shall be formatted as follows:
<cdc.captured_columns column_name="Column1" column_ordinal="1" />
<cdc.captured_columns column_name="Column2" column_ordinal="2" />
*/
System.Text.ASCIIEncoding encoding=new System.Text.ASCIIEncoding();
byte[] updateMask = encoding.GetBytes(updateMaskString);
string columnList = "";
System.Xml.XmlDocument colList = new System.Xml.XmlDocument();
colList.LoadXml("<columns>" + columnListXML + "</columns>"); /* generate xml with root node */
for (int i = 0; i < colList["columns"].ChildNodes.Count; i++)
{
if (columnChanged(updateMask, int.Parse(colList["columns"].ChildNodes[i].Attributes["column_ordinal"].Value)))
{
columnList += colList["columns"].ChildNodes[i].Attributes["column_name"].Value + ",";
}
}
if (columnList.LastIndexOf(',') > 0)
{
columnList = columnList.Remove(columnList.LastIndexOf(',')); /* get rid of trailing comma */
}
return columnList; /* return the comma seperated list of columns that changed */
}
private static bool columnChanged(byte[] updateMask, int colOrdinal)
{
unchecked
{
byte relevantByte = updateMask[(updateMask.Length - 1) - ((colOrdinal - 1) / 8)];
int bitMask = 1 << ((colOrdinal - 1) % 8);
var hasChanged = (relevantByte & bitMask) != 0;
return hasChanged;
}
}
}
А функція CLR така:
CREATE FUNCTION [cdc].[udf_clr_ChangedColumns]
(@columnListXML [nvarchar](max), @updateMask [nvarchar](max))
RETURNS [nvarchar](max) WITH EXECUTE AS CALLER
AS
EXTERNAL NAME [CDCUtilities].[UserDefinedFunctions].[udf_clr_cdcChangedColumns]
Потім додаємо цей список стовпців до набору рядків і передаємо на сховище даних для аналізу. Використовуючи запит та клір, ми уникаємо використання двох викликів функцій у рядку за зміну. Ми можемо пропустити прямо до м'яса з результатами, налаштованими на наш екземпляр збору змін.
Завдяки цій публікації про stackoverflow, запропонованій Джоном Сейгелем, для способу інтерпретації маски.
В нашому досвіді з таким підходом ми можемо отримати список всіх змінених стовпців з 10k рядків cdc протягом менше 3 секунд.