Якщо не існує найкращої практики, вставити SQL Server

У мене є Competitionsтаблиця результатів, яка містить імена членів команди та їхній рейтинг з одного боку.

З іншого боку, мені потрібно підтримувати таблицю унікальних імен конкурентів :

CREATE TABLE Competitors (cName nvarchar(64) primary key)

Зараз я маю 200 000 результатів у першій таблиці, і коли таблиця конкурентів порожня, я можу виконати це:

INSERT INTO Competitors SELECT DISTINCT Name FROM CompResults

А на запит потрібно лише 5 секунд, щоб вставити близько 11 000 імен.

Поки це не є критичним додатком, тому я можу розглянути можливість скорочення таблиці конкурентів раз на місяць, коли я отримую нові результати змагань з приблизно 10 000 рядів.

Але яка найкраща практика, коли додаються нові результати з новими І існуючими конкурентами? Я не хочу усікати таблицю конкурентів

Мені потрібно виконати заяву INSERT лише для нових конкурентів і нічого не робити, якщо вони є.

Семантично ви просите "вставити конкурентів там, де його ще немає":

INSERT Competitors (cName)
SELECT DISTINCT Name
FROM CompResults cr
WHERE
   NOT EXISTS (SELECT * FROM Competitors c
              WHERE cr.Name = c.cName)

Інший варіант - залишити приєднатись до таблиці результатів із наявною таблицею конкурентів та знайти нових конкурентів, відфільтрувавши окремі записи, які не збігаються в приєднанні:

INSERT Competitors (cName)
SELECT  DISTINCT cr.Name
FROM    CompResults cr left join
        Competitors c on cr.Name = c.cName
where   c.cName is null

Новий синтаксис MERGE також пропонує компактний, елегантний та ефективний спосіб зробити це:

MERGE INTO Competitors AS Target
USING (SELECT DISTINCT Name FROM CompResults) AS Source ON Target.Name = Source.Name
WHEN NOT MATCHED THEN
    INSERT (Name) VALUES (Source.Name);

Не знаю, чому ще ніхто цього не сказав;

НОРМАЛІЗАЦІЯ.

У вас є таблиця, яка моделює змагання? Змагання складаються з конкурентів? Вам потрібен чіткий список учасників змагань на одному чи кількох змаганнях ......

У вас повинні бути такі таблиці .....

CREATE TABLE Competitor (
    [CompetitorID] INT IDENTITY(1,1) PRIMARY KEY
    , [CompetitorName] NVARCHAR(255)
    )

CREATE TABLE Competition (
    [CompetitionID] INT IDENTITY(1,1) PRIMARY KEY
    , [CompetitionName] NVARCHAR(255)
    )

CREATE TABLE CompetitionCompetitors (
    [CompetitionID] INT
    , [CompetitorID] INT
    , [Score] INT

    , PRIMARY KEY (
        [CompetitionID]
        , [CompetitorID]
        )
    )

З обмеженнями на конкуренцію конкурентів. КонкуренціяID та конкурент ID вказує на інші таблиці.

З такою структурою таблиці - ваші клавіші - це просто INTS - не здається, що ПРИРОДНИЙ КЛЮЧ, який би відповідав цій моделі, я вважаю, що СУРОГРАЦІЙНИЙ КЛЮЧ тут добре підходить.

Тож якщо ви мали це тоді, щоб отримати чіткий список конкурентів у конкретному змаганні, ви можете надіслати такий запит:

DECLARE @CompetitionName VARCHAR(50) SET @CompetitionName = 'London Marathon'

    SELECT
        p.[CompetitorName] AS [CompetitorName]
    FROM
        Competitor AS p
    WHERE
        EXISTS (
            SELECT 1
            FROM
                CompetitionCompetitor AS cc
                JOIN Competition AS c ON c.[ID] = cc.[CompetitionID]
            WHERE
                cc.[CompetitorID] = p.[CompetitorID]
                AND cc.[CompetitionName] = @CompetitionNAme
        )

А якщо ви хотіли балу за кожне змагання, то учасник змагань:

SELECT
    p.[CompetitorName]
    , c.[CompetitionName]
    , cc.[Score]
FROM
    Competitor AS p
    JOIN CompetitionCompetitor AS cc ON cc.[CompetitorID] = p.[CompetitorID]
    JOIN Competition AS c ON c.[ID] = cc.[CompetitionID]

А коли у вас є нова конкуренція з новими конкурентами, ви просто перевіряєте, які з них вже є в таблиці конкурентів. Якщо вони вже існують, ви не вставляєте в Конкуренту цих конкурентів і не вставляєте нових.

Потім ви вставляєте новий конкурс у змаганнях, і, нарешті, ви просто робите всі посилання в конкурсі конкурентів.

Вам потрібно буде об'єднати таблиці разом і отримати список унікальних конкурентів, яких ще не існує Competitors.

Це дозволить вставити унікальні записи.

INSERT Competitors (cName) 
SELECT DISTINCT Name
FROM CompResults cr LEFT JOIN Competitors c ON cr.Name = c.cName
WHERE c.Name IS NULL

Може настати час, коли цю вставку потрібно зробити швидко, не маючи змоги чекати вибору унікальних імен. У цьому випадку ви можете вставити унікальні імена у тимчасову таблицю, а потім скористатися цією тимчасовою таблицею, щоб вставити у свою справжню таблицю. Це добре працює, оскільки вся обробка відбувається в той час, коли ви вставляєте у тимчасову таблицю, тому це не впливає на вашу реальну таблицю. Потім, коли ви закінчите всю обробку, ви швидко вставте в реальну таблицю. Я можу навіть завернути останню частину, де ви вставляєте в реальну таблицю, всередині транзакції.

Відповіді, вище про які йдеться про нормалізацію, чудові! Але що робити, якщо ви опинитесь у такому положенні, як я, коли вам не дозволяється торкатися схеми або структури бази даних, як вона є? Наприклад, DBA є "богами", і всі запропоновані зміни переходять на / dev / null?

У цьому відношенні я відчуваю, що на це відповіли і в цій публікації про переповнення стека стосовно всіх користувачів, які надавали вище зразки коду.

Я повертаю код з INSERT VALUES, КОГО НЕ існує, що мені найбільше допомогло, оскільки я не можу змінити будь-які основні таблиці баз даних:

INSERT INTO #table1 (Id, guidd, TimeAdded, ExtraData)
SELECT Id, guidd, TimeAdded, ExtraData
FROM #table2
WHERE NOT EXISTS (Select Id, guidd From #table1 WHERE #table1.id = #table2.id)
-----------------------------------
MERGE #table1 as [Target]
USING  (select Id, guidd, TimeAdded, ExtraData from #table2) as [Source]
(id, guidd, TimeAdded, ExtraData)
    on [Target].id =[Source].id
WHEN NOT MATCHED THEN
    INSERT (id, guidd, TimeAdded, ExtraData)
    VALUES ([Source].id, [Source].guidd, [Source].TimeAdded, [Source].ExtraData);
------------------------------
INSERT INTO #table1 (id, guidd, TimeAdded, ExtraData)
SELECT id, guidd, TimeAdded, ExtraData from #table2
EXCEPT
SELECT id, guidd, TimeAdded, ExtraData from #table1
------------------------------
INSERT INTO #table1 (id, guidd, TimeAdded, ExtraData)
SELECT #table2.id, #table2.guidd, #table2.TimeAdded, #table2.ExtraData
FROM #table2
LEFT JOIN #table1 on #table1.id = #table2.id
WHERE #table1.id is null

Вищевказаний код використовує різні поля, ніж ті, що у вас є, але ви отримуєте загальну суть різних методів.

Зауважте, що згідно з оригінальною відповіддю на переповнення стека, цей код був скопійований звідси .

У всякому разі, моя думка полягає в тому, що "найкраща практика" часто зводиться до того, що можна, а що не можна робити, а також теорії.

• Якщо ви можете нормалізувати та генерувати індекси / ключі - чудово!
• Якщо ні, і ви можете вдатися до коду хаків, як я, сподіваємось, що вище це допоможе.

Удачі!

Нормалізація ваших операційних таблиць, як це запропонував Transact Charlie, є хорошою ідеєю і врятує багато головних болів і проблем з часом - але є такі речі, як таблиці інтерфейсів , які підтримують інтеграцію із зовнішніми системами, та таблиці звітів , які підтримують такі речі, як аналітичні обробка; і ці типи таблиць не повинні бути нормалізованими - адже дуже часто це набагато, набагато зручніше та ефективніше для них не бути .

У цьому випадку я думаю, що пропозиція Transact Charlie для ваших операційних столів є вдалою.

Але я додав би індекс (не обов'язково унікальний) до CompetitorName у таблиці Competitors для підтримки ефективних приєднань до CompetitorName для інтеграції (завантаження даних із зовнішніх джерел), і я би вклав таблицю інтерфейсів у суміш: CompetitionResults.

Конкурсні результати повинні містити будь-які дані, що містять у вас результати змагань. Суть таблиці такої інтерфейсу, як ця, полягає в тому, щоб зробити її максимально швидкою і простою для обрізання та перезавантаження з аркуша Excel або файлу CSV або будь-якої форми, в якій ви маєте ці дані.

Ця інтерфейсна таблиця не повинна вважатися частиною нормованого набору операційних таблиць. Тоді ви можете приєднатися до CompetitionResults, як запропонував Річард, вставити записи в конкурентів, які вже не існують, та оновити ті, що є (наприклад, якщо у вас є додаткова інформація про конкурентів, наприклад їх номер телефону чи електронну адресу).

Я хотів би зазначити одне - насправді ім'я конкурента, як мені здається, дуже навряд чи буде унікальним у ваших даних . Наприклад, у 200 000 конкурентів ви можете мати 2 або більше Девіда Сміта, наприклад. Тому я рекомендую вам зібрати більше інформації від конкурентів, наприклад, їх номер телефону або адресу електронної пошти, або щось, що швидше за все буде унікальним.

Ваш операційний стіл, Конкуренти, повинен мати лише один стовпець для кожного елемента даних, який сприяє складенню природного ключа; наприклад, він повинен мати один стовпчик для основної адреси електронної пошти. Але таблиця інтерфейсів повинна мати слот для старих і нових значень для первинної адреси електронної пошти, щоб старе значення можна було використовувати для пошуку запису у конкурентів та оновлення цієї частини до нового значення.

Тож у конкурсних результатів повинні бути деякі "старі" та "нові" поля - oldEmail, newEmail, oldPhone, newPhone тощо. Таким чином, ви можете сформувати складений ключ у конкурентів від CompetitorName, Email та Phone.

Потім, коли у вас є деякі результати змагань, ви можете скоротити та перезавантажити свою таблицю CompetitionResults зі свого листа excel або будь-якого іншого, і запустити єдину ефективну вставку для вставки всіх нових конкурентів у таблицю конкурентів та єдине ефективне оновлення для оновлення. всю інформацію про існуючих конкурентів з конкурсних результатів. І ви можете зробити одну вставку, щоб вставити нові рядки в таблицю CompetitionCompetitors. Ці речі можна зробити в збереженій процедурі ProcessCompressionResults, яка може бути виконана після завантаження таблиці CompetitionResults.

Це своєрідний рудиментарний опис того, що я спостерігав у реальному світі за допомогою Oracle Applications, SAP, PeopleSoft та списку білизни інших програмних програм для підприємств.

Останнє зауваження, яке я зробив, - це те, що я робив раніше про SO: Якщо ви створюєте зовнішній ключ, який гарантує існування конкурента в таблиці конкурентів, перш ніж ви зможете додати рядок із цим конкурентом до нього, переконайтеся, що зовнішній ключ встановлюється для каскадного оновлення та видалення . Таким чином, якщо вам потрібно видалити конкурента, ви можете це зробити, і всі рядки, пов’язані з цим конкурентом, будуть автоматично видалені. В іншому випадку за замовчуванням зовнішній ключ вимагатиме видалення всіх пов’язаних рядків із конкурентів конкурентів, перш ніж він дозволить вам видалити конкурента.

(Деякі люди вважають, що не каскадні закордонні ключі є гарною запобіжною безпекою, але мій досвід полягає в тому, що вони просто страхітливий біль у попці, які частіше за все є просто результатом нагляду, і вони створюють купу робочих місць Для користувачів DBA. У взаємодії з людьми, які випадково видаляють речі, тому у вас є такі речі, як "Ви впевнені", діалоги та різні типи регулярних резервних копій та зайвих джерел даних. Насправді, набагато частіше зустрічатися з видаленням конкурента, чиї дані - все заплутався, наприклад, ніж випадково видалити його, а потім перейти "О, ні! Я не мав цього робити! І тепер я не маю їх результатів змагань! Аааах!" Останнє, звичайно, досить поширене, так вам потрібно бути готовим до цього, але це набагато частіше,тож найпростіший і найкращий спосіб підготуватися до першого, imo, - це просто зробити оновлення та видалення каскаду зовнішніх ключів.)

Гаразд, це було задано 7 років тому, але я думаю, що найкраще рішення тут - повністю відмовитись від нової таблиці і просто зробити це як власний вигляд. Таким чином, ви не дублюєте дані, не хвилюйтеся за унікальні дані, і це не стосується фактичної структури бази даних. Щось на зразок цього:

CREATE VIEW vw_competitions
  AS
  SELECT
   Id int
   CompetitionName nvarchar(75)
   CompetitionType nvarchar(50)
   OtherField1 int
   OtherField2 nvarchar(64)  --add the fields you want viewed from the Competition table
  FROM Competitions
GO

Тут можна додати інші елементи, наприклад, приєднання до інших таблиць, пункти WHERE тощо. Це, швидше за все, найелегантніше рішення цієї проблеми, оскільки тепер ви можете просто запитати погляд:

SELECT *
FROM vw_competitions

... і додайте будь-які пропозиції WHERE, IN або EXISTS до запиту перегляду.