Який найшвидший спосіб експорту таблиці в текстовий файл

У мене буде база даних SQL Server 2012 і таблиця з 3 мільйонами рядків і, можливо, 50 стовпців. Що буде найшвидшим способом для безперервного фонового процесу .net (можливо, видає якусь команду SQL або Powershell), щоб експортувати його в текстовий файл, по одному рядку для кожного рядка даних? Процес .net повинен знати, коли експортування було завершено або чи була помилка. Тип даних буде всім intабо nvarchar.

Я припускаю, що чистий код C #, що використовує ado.net для виконання select *команди та перенесення циклічного перечитника даних та запис у файл для кожного запису, буде повільним, і я не можу паралелізувати це.

В ідеалі експорт буде у віддалену загальну мережеву папку, а не в локальну папку на машині SQL Server. SQL Server буде кластером HA. Чи краще для цього підходить SSIS, не потрібна трансформація даних?

Процес .Net запускається на машині A, SQL Server на машині B, а кінцеве призначення файлу - це мережева частка. Один з варіантів - SQL-сервер записує файл безпосередньо в мережеву спільну доступність. Інший варіант - SQL Server записує на машину A, а потім, коли файл записується, .net-процес копіює його в мережу. У мене немає офіційного угоди про угод, але очікую 30 хвилин - 1 год для запису файлу.

Перегляд усіх цих статей - це варіант, якщо ви хочете постаріти, переглядаючи його виконання.

Деякі різні варіанти, які ви повинні спробувати:

• утиліти BCP ( як згадувалося вище, теж, це інструмент командного рядка для імпорту та експорту даних в / з SQL Server);
• Оператор BULK INSERT - цукор мови T-SQL для роботи з імпортом даних із сценаріїв;
• Клас SqlBulkCopy від .NET - якщо ви хочете працювати з додатка. Приємний приклад можна побачити тут: Вплив продуктивності Linchi Shea : найоптимальніший сценарій вставки не може обіграти BulkCopy .

І ви можете спробувати всі ці параметри під час циклу в іншому сеансі, просто для розваги :-).

Я б просто скористався майстром імпорту експорту. Наприкінці вам надається можливість зберегти завдання, яке ви зможете запланувати за допомогою агента SQL Server. Додайте себе в якості оператора і налаштуйте DB Mail на сервері, і він може надіслати вам електронну пошту, коли завдання буде завершено або завершено.

Серйозно, навіщо винаходити колесо?

http://msdn.microsoft.com/en-us/library/ms140052.aspx

Інші заявили, що bcp має бути найшвидшим способом, але я не бачу жодної переваги перед рішенням CLR. На вставках до таблиць баз даних завжди будуть вигравати різні реалізації масової копії. В першу чергу це пов'язано з тим, як вони мінімізують ведення журналів і включають багатопотокові записи. У вас немає цих обмежень під час запису в плоский файл.

У своїй роботі ми використовуємо CLR, щоб скинути вихідний запит у файл. Ми також включаємо Ionic.Zip.dll, щоб файл міг автоматично створюватись в папці після створення.

Ось приклад, за яким операційна система стверджує, що вдвічі швидша, ніж bcp на краплі: /programming/10325338/fastest-way-to-export-blobs-from-table-into-individual-files

Ви можете створити простий пакет SSIS:

Ось як на високому рівні:

1. Створіть підключення OLEDB до бази даних в диспетчері з'єднань
2. Перетягніть перетворення потоку даних у контрольний потік, а потім натисніть на нього, щоб перейти до потоку даних.
3. Перетягніть джерело OLEDB з панелі інструментів у потік даних та відредагуйте його, щоб він підключився до потрібної таблиці за допомогою з'єднання, створеного на кроці 1
4. Перетягніть цільове місце призначення файлу з панелі інструментів у потік даних та підключіть до нього джерело OLEDB.
5. Виберіть "Нове" у пункті призначення "Плоский файл", і він створить новий плоский файл з тією ж структурою стовпця, і ви можете використовувати потрібний роздільник, або, можливо, фіксований файл, якщо вам це подобається.
6. Виконати його.

Будь-яка новачка повинна це вміти розібратися. Особі, яка не користується програмою GUI, не сподобається це рішення, тому збережіть коментарі з цього приводу, це просто альтернатива для менш технічних кмітливих людей, які борються за допомогою BCP ...

Ви маєте трохи більше гнучкості у форматуванні файлу даних. Це можна зробити на БКП і все це, але це виймає складність з цього. Але є невелика перевага, оскільки ви можете помістити в спеціальний заголовок файлу та створити "Ім'я стовпця" як перший рядок, що робить плоский файл більш споживчим.

Не забудьте зберегти його, якщо ви створили його один раз, вас, ймовірно, знову запитають! Сподіваюся, це допомагає ..

Я думаю, що bcp.exe з командної лінії повинен бути найшвидшим способом.

http://msdn.microsoft.com/en-us/library/ms162802.aspx