Який найшвидший спосіб вставити велику кількість рядків?

У мене є база даних, де я завантажую файли в таблицю інсценізації, з цієї таблиці постановок у мене є 1-2 приєднання, щоб вирішити деякі зовнішні ключі, а потім вставити ці рядки в підсумкову таблицю (яка має один розділ на місяць). У мене є близько 3,4 мільярда рядків за три місяці даних.

Який найшвидший спосіб перенести ці рядки до постановки фінального столу? Завдання потоку даних SSIS (яка використовує подання як джерело та має активне швидке завантаження) або команду Вставити INTO SELECT ....? Я спробував Data Data Task і за 5 годин (8 ядер / 192 ГБ оперативної пам’яті на сервері) можна отримати близько 1 мільярда рядків, що мені дуже повільно.

Один загальний підхід:

1. Відключити / впасти індекси / обмеження на цільовій таблиці.
2. INSERT dbo.[Target] WITH (TABLOCKX) SELECT ...
3. Зважаючи на кредит JNK, звичайно, ви можете зробити вищезазначене партіями nрядків, що може зменшити навантаження на журнал транзакцій, і, звичайно, означає, що якщо якась партія виходить з ладу, вам потрібно лише починати з цієї партії. Я обговорював це з цього приводу (хоча у відношенні до делетів застосовуються ті самі основні поняття) тут: http://www.sqlperformance.com/2013/03/io-subsystem/chunk-delete
4. Повторно увімкніть / відновіть індекси / обмеження на цільовій таблиці (і, можливо, ви можете відкласти деякі з них, якщо вони не потрібні для всіх операцій, і важливіше швидко отримати базові дані в Інтернеті).

Якщо ваші розділи є фізичними, а не просто логічними, ви можете отримати деякий час, якщо різні процеси одночасно заповнюватимуть різні розділи (звичайно, це означає, що ви не можете використовувати TABLOCK/ TABLOCKX). Це передбачає, що джерело також підходить для вибору декількох процесів без перекриття / блокування тощо, і робить цю сторону операції ще повільнішою (підказка: створити кластерний індекс на джерелі, який відповідає схемі розподілу в пункті призначення).

Ви також можете вважати щось набагато примітивніше, як BCP OUT/BCP IN .

Я не знаю, що я скочу до SSIS, щоб допомогти у цьому. Там, мабуть, є ефективність, але я не знаю, що зусилля виправдовують економію.

Дивлячись на вашу проблему з точки зору SSIS, я відчуваю, що причина цього може зайняти так довго, це те, що у вас не було часу. Це може призвести до надмірної кількості рядків, що заповнюють трубопровід SSIS, і може перешкодити роботі SSIS. Що вам потрібно зробити, це змінити рядки за налаштуваннями партії та, можливо, максимальний розмір вставки. Тепер те, що ви також встановили це, залежатиме від обсягу пам'яті, доступної вашому серверу SSIS? Яка швидкість диска вашого екземпляра SQL Server? Найкращий спосіб зробити це тест. Наприклад, використовуємо 10 000. Це відправить пакет на сервер 10 000 за раз, тим самим уберегши ваш конвеєр від переповнення і допоможе швидше запустити цей процес. Ці налаштування встановлені у вашому пункті OLEDB.

Якщо це проблема, ви також можете додати виконання завдання SQL до і після, як це зробити, як пропонує @AaronBertrand, і видалити / повторно додати будь-які індекси або обмеження до таблиці.