Як дізнатись відмінності даних між двома таблицями, які мають точну схему, і як створити синхронізацію SQL, щоб отримати результати об'єднання (без дублікатів)?
Це 2 таблиці:
SOURCE01.dbo.Customers (31,022 rows)
TARGET01.dbo.Customers (29,300 rows)
Схема кожної таблиці така:
[CustomerId] : nvarchar(255)[CustomerSerializedProfile]: nvarchar(max)[CreatedDatetime] : DateTimeВідповіді:
Окрім tablediff та повноважень, зазначених у попередніх відповідях, ви також можете використовувати SQL із заявою UNION ALL, щоб знайти записи, які не збігаються у двох однакових таблицях:
SELECT MIN(TableName) AS TableName
,ID
,NAME
,lastname
,Address
,City
FROM (
SELECT 'Table A' AS TableName
,Customers.id
,Customers.NAME
,Customers.lastname
,Customers.Address
,Customers.City
FROM Customers
UNION ALL
SELECT 'Table B' AS TableName
,CustomersOld.id
,CustomersOld.NAME
,CustomersOld.lastname
,CustomersOld.Address
,CustomersOld.City
FROM CustomersOld
) tmp
GROUP BY ID
,NAME
,lastname
,Address
,City
HAVING COUNT(*) = 1
ORDER BY id;
Інший варіант, який ви можете спробувати, - це використання даних Порівняння в самому Visual Studio. Він порівнює дані у вихідній базі даних та цільовій базі даних та створює сценарій синхронізації для таблиць, вибраних для синхронізації.
І останнє, але не менш важливе, ви можете використовувати інструмент порівняння даних SQL - ApexSQL Data Diff , щоб встановити всі параметри синхронізації, зіставити таблиці та стовпці з різними іменами, створити власні ключі для порівняння в графічному інтерфейсі. Ви можете запланувати його запуск без нагляду, і все, що вам потрібно зробити, - перевірити історію завдань SQL Server вранці. Якщо вам потрібні додаткові відомості щодо цих параметрів, рекомендую прочитати цю статтю: http://solutioncenter.apexsql.com/automatically-compare-and-synchronize-sql-server-data/
Дещо дивно, що ніхто не згадував, що це ще вбудовано в Інструменти даних SQL Server. Хоча функціональність є основною в порівнянні, наприклад, з Redgate.
Деякі деталі в Порівняння та синхронізація даних в одній або декількох таблицях з даними в довідковій базі даних
Використання Native інструментів:
tablediff : утиліта tablediff порівнює дані в вихідній таблиці з таблицею в таблиці призначення.
powershell: Порівняти-об'єкт дозволяє досягти цього. ось хороший приклад
третя сторона:
схема порівняння даних та порівняння даних. Ви навіть можете використовувати паттерн влади і схему / дані для порівняння для автоматизації речей.
Я нещодавно використовував цю для подібних цілей:
select
s.*
,t.*
from SOURCE01.dbo.Customers as s
full outer join TARGET01.dbo.Customers as t
on s.CustomerId = t.CustomerId
where s.CustomerSerializedProfile <> t.CustomerSerializedProfile
or s.CreatedDatetime <> t.CreatedDatetime
or s.CustomerId is NULL
or t.CustomerId is NULL;
Він покладається на те, що первинний ключ є послідовним. Але ви повинні мати щось послідовне. Мета-скрипт для генерування коду, як описано вище, є відносно простим у написанні та робить таблиці багатьох стовпців легкими для порівняння.
Що стосується синхронізації, вам доведеться source left join targetі target left join sourceтоді вирішити, що ви хочете зробити з результатом кожної.
Це повинно дати вам відмінності між двома таблицями, потім ви можете обернути це в запит на вставку, щоб помістити відмінності від A в B або навпаки.
SELECT A.CustomerId, A.CustomerSerializedProfile, A.CreatedDatetime
FROM SOURCE01.dbo.Customers A
WHERE NOT EXISTS (SELECT B.ID
FROM TARGET01.dbo.Customers
WHERE B.CustomerId= A.CustomerId
AND B.CustomerSerializedProfile= A.CustomerSerializedProfile
AND B.CreatedDatetime= A.CreatedDatetime)
Один з наших безкоштовних інструментів має повний інтерфейс для TableDiff:
http://nobhillsoft.com/Diana.aspx
Також перегляньте наш інструмент порівняння БД. Це єдиний з них, який порівнює необмежену кількість даних (не хтось із інших може робити мільйони та мільйони записів)… до тих пір, поки ви порівнюєте між двома серверами, які пов’язані між собою
http://nobhillsoft.com/NHDBCompare.aspx
(Ми бачили інші посилання в цій темі для сторонніх продуктів, тому ми вважаємо, що її законно потрібно згадати про наше ... pls, повідомте нас, якщо це не так)
Якщо обидві таблиці мають подібні первинні ключі, ви можете використовувати нижченаведену стратегію для порівняння вихідних та цільових таблиць: (Я позначав стовпчики складених ключів зірочкою)
with src as (select someCol1*,
someCol2*,
someCol3,
someCol4,
someCol5
from src_table),
tgt as (select someCol1NameCouldDiffer* as someCol1,
someCol2*,
someCol3,
someCol4,
someCol5
from tgt_table),
--Find which keys have at least 1 non-key column difference:
diffs as (select someCol1,
someCol2
from (select all 5 columns
from src
**union**
select all 5 columns
from target )
**group by** someCol1, someCol2
**having count(*)>1**
--Reselect all columns you wish to compare from src union target,
--joining on the keys from "diffs" above to show only records which
--have data differences.
select *
from (select all 5 columns
from src
union
select all 5 cols
from tgt) t1
join diffs on t1.someCol1 = diffs.someCol1
and t1.someCol2 = diffs.someCol2
**order by ** someCol1, someCol2 desc
Це працює, тому що об'єднання неявно повертає різні записи. Отже, для будь-якого заданого рядка (ідентифікованого деяким ключем) у джерелі, який ви очікуєте, що він точно збігається з цільовим, ви очікуєте, що об'єднання src та target поверне 1 рядок для будь-якого заданого ключа. Таким чином, ви можете використовувати вищевказану стратегію, щоб дізнатися, які ключі повертають результат об'єднання, що має декілька рядків, а потім знову запитати ціль об’єднання src (цього разу лише вибираючи записи, що мають відмінності, приєднавшись до таблиці diff), вибравши всі стовпці, які ви хочете порівняйте, упорядкувавши стовпці, що складають ключ, і ви побачите, які саме стовпці невідповідні. Зверніть увагу, що назви стовпців у джерелі та цілі не повинні збігатися, оскільки їх можна псевдоніміти один одному за допомогою оператора "як".
Для того, щоб знайти відмінності між двома однаковими таблицями
SELECT *
FROM SOURCE01.dbo.Customers
UNION
SELECT *
FROM TARGET01.dbo.Customers
КРІМ
SELECT *
FROM SOURCE01.dbo.Customers
INTERSECT
SELECT *
FROM TARGET01.dbo.Customers
Упорядкованість операцій призводить до того, що INTERSECT буде виконаний першим, що дасть вам набір даних лише з рядків, які існують в обох таблицях. По-друге, виконується UNION, який дає всі рядки з обох таблиць без дублікатів. Нарешті, виконується EXCEPT, який видаляє з вашого UNION (усі рядки обох таблиць) набір даних INTERSECT, який є рядками в обох таблицях. Це дає вам набір даних, що містить лише рядки, які існують в одній із таблиць, але не в іншій. Якщо ваш набір даних повертається порожнім, то всі таблиці однакові між таблицями.
https://docs.microsoft.com/en-us/sql/t-sql/language-elements/set-operators-except-and-intersect-transact-sql
У мене була подібна проблема, і для вирішення проблеми використала команду SQL "EXCEPT". Команда EXCEPT приймає два оператори SELECT і повертає рядки, які повертаються першим оператором SELECT (зліва), а не другим (правою) оператором SELECT.
SELECT * from table1 where x,y,z
EXCEPT
SELECT * from table2 where a,b,c
PS: Схема для обох таблиць, повернених оператором SELECT, повинна відповідати.
Для більшої наочності відвідайте: Сторінка навчальних посібників тут
/*
Compare master table data on 2 servers (
1. Change server name
2. Set RaceDate (@racedate) with the >, < ,= >= operator
before you run)
--KNOWN ISSUES
1. Tables need PKs
*/
SET NOCOUNT ON
--Destination Server Details
DECLARE @destServ nvarchar(40)='[sql\inst23]' --required -- If local instance, leave the string empty
DECLARE @destdb nvarchar(40)='DBName' --required
DECLARE @destSchema nvarchar(40)='dbo' --required
DECLARE @destTable nvarchar(40)='TableName' --required
-- Source Server Details
DECLARE @SourServ nvarchar(40)='[sql\inst07]' --required
DECLARE @Sourdb nvarchar(40)='DBonRemoteServer' --required
DECLARE @SourSchema nvarchar(40)='dbo' --required
DECLARE @SourTable nvarchar(40)='TableName' --required -- TableName format 'MyTable'
DECLARE @WHERE nvarchar(400) = 'WHERE 1=1'
DECLARE @Clause nvarchar(400)= 'AND Id > 201808201500000' --Choose a Predicate to limit data --Start with AND . e.g: 'AND Date > ''20180801'' '
SELECT @WHERE = @WHERE + @Clause
DECLARE @randomtablesuffix nvarchar(5)
SELECT @randomtablesuffix= SUBSTRING(CAST(NEWID() as nvarchar(255)),1,5)
declare @v nvarchar(max), @sql nvarchar(max), @retval nvarchar(max) , @ParamDef nvarchar(400)
--GET Columns List as varchar Columns for HASHBYTES to compare
SELECT @sql='SELECT @vv= COALESCE(@vv,'''')+''CAST(ISNULL(''+ COLUMN_NAME + '',0) as VARCHAR(''+
CASE WHEN DATA_TYPE IN (''varchar'',''nvarchar'') THEN CAST(CHARACTER_MAXIMUM_LENGTH as varchar(5)) ELSE ''60 '' END +'')) + ''
from '+ @destdb + '.INFORMATION_SCHEMA.COLUMNS where TABLE_NAME='+ QUOTENAME(@destTable,'''') + ''
SET @ParamDef = N'@vv nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @vv=@v OUTPUT;
SELECT @v= SUBSTRING(@v,0,LEN(@v))
--Keys to JOIN
DECLARE @pkeylistJoinOUT nvarchar(4000)=''
SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + '' a.''+ QUOTENAME(COLUMN_NAME) + ''=b.''+ QUOTENAME(COLUMN_NAME) + '' AND''
FROM '+@destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE]
WHERE TABLE_NAME='+ QUOTENAME(@destTable,'''') + ' ORDER BY ORDINAL_POSITION'
SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUT OUTPUT;
SELECT @pkeylistJoinOUT = REPLACE(REPLACE(REVERSE( SUBSTRING(REVERSE(@pkeylistJoinOUT), CHARINDEX(']', REVERSE(@pkeylistJoinOUT)), LEN(@pkeylistJoinOUT)) ),']',''),'[','')
--Get Column List
DECLARE @ColumnListOut nvarchar(max)=''
SET @sql='SELECT @ColumnList=ISNULL(@ColumnList,'''') + COLUMN_NAME + '','' FROM '+@destdb +'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@destTable,'''')+ ' ORDER BY ORDINAL_POSITION'
SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOut OUTPUT;
SET @ColumnListOut=SUBSTRING(@ColumnListOut,0,LEN(@ColumnListOut))
--Now Compare
SELECT @sql='
SELECT a.* INTO ##_destissues'+@randomtablesuffix+' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK) ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND a.HashVal <> b.HashVal '
--print @sql
exec (@sql)
SELECT @sql='
SELECT b.* INTO ##_sourceissues'+@randomtablesuffix+ ' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK) ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND a.HashVal <> b.HashVal '
exec (@sql)
--Get Column List for Pivoting
DECLARE @ColumnListOutasVC nvarchar(max)=''
SET @sql='SELECT @ColumnList=ISNULL(@ColumnList,'''')+ ''CAST(''+ COLUMN_NAME + '' AS VARCHAR(200)) as ''+ COLUMN_NAME + '','' FROM ' + @destdb+'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@desttable,'''')
SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOutasVC OUTPUT;
SET @ColumnListOutasVC=SUBSTRING(@ColumnListOutasVC,0,LEN(@ColumnListOutasVC))
--Get PKs as VARCHAR Values
DECLARE @pkeylistJoinOUTVC nvarchar(4000)=''
SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + ''CAST(''+COLUMN_NAME + '' as varchar(200)) as '' + COLUMN_NAME + ''1,'' FROM '+ @destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE] WHERE TABLE_NAME='+QUOTENAME(@destTable,'''') + ' ORDER BY ORDINAL_POSITION'
SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUTVC OUTPUT;
SET @pkeylistJoinOUTVC=SUBSTRING(@pkeylistJoinOUTVC,0,LEN(@pkeylistJoinOUTVC))
--SELECT @pkeylistJoinOUTVC
SET @sql='
select * INTO ##_destissuedetail'+@randomtablesuffix+ ' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
+ '
from
##_destissues'+ @randomtablesuffix+ '
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'
EXEC( @sql)
SET @sql='
select * INTO ##_sourceissuedetail'+@randomtablesuffix+' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
+ '
from
##_sourceissues'+ @randomtablesuffix+'
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'
EXEC( @sql)
SELECT 'Tables to look for data are ##_destissuedetail'+@randomtablesuffix +' and ##_sourceissuedetail ' +@randomtablesuffix
SET @sql='
SELECT * FROM ##_destissuedetail'+@randomtablesuffix+ '
EXCEPT
SELECT * FROM ##_sourceissuedetail' +@randomtablesuffix
EXEC (@sql)
Сценарій (якщо надано відповідні деталі) порівнює 2 таблиці (скажімо, Клієнти на сервері1 та Клієнти на сервері2).
Цей сценарій буде корисний, якщо ви порівнюєте таблицю з багатьма стовпцями, але намагаєтеся знайти точний стовпець, що не відповідає.
У мене є таблиця з 353 стовпцями, і мені довелося порівняти її з іншою таблицею і знайти зі значеннями, які не відповідають, і цей скрипт допоможе вам знайти точний кортеж.
Я думаю, вам слід спробувати порівняння даних xSQL , що зробить трюк у вашому випадку. Скажімо, наприклад, що ви вказали
SOURCE01.dbo.Customers as the **left table** and
TARGET01.dbo.Customers as the **right table**
Після порівняння таблиць у результаті порівняння ви можете вказати, що ви хочете синхронізувати лише відмінності з лівої таблиці, яка створювала б сценарій SQL для вставки в TARGET01.dbo.Комп'ютери всіх рядків, які не знаходяться в цій таблиці, але існують у SOURCE01.dbo.Customers (Досягнення результату UNION без дублікатів). Сподіваюся, це допомагає!
Розкриття інформації: я пов'язаний з xSQL.