Який найпростіший і швидкий спосіб перенести великий файл через мережу Windows?


14

У мене є машина Window Server 2000, на якій працює MS SQL Server, яка зберігає понад 20 ГБ даних. База даних щоденно резервується на другий жорсткий диск. Я хочу перенести ці резервні файли на інший комп'ютер, щоб створити інший тестовий сервер і практикувати відновлення. (Резервна копія ніколи фактично не відновлювалася протягом майже 5 років. Не кажи моєму начальникові про це!)

У мене проблеми з передачею величезного файлу через мережу. Я спробував звичайну мережеву копію, завантаження apache та ftp. Будь-який метод, який я намагався, виявився невдалим, коли кількість переданих даних сягає 2 Гб. Останній раз, коли я успішно переніс файл, це було через usb-прикріплений зовнішній жорсткий диск. Але я хочу виконувати це завдання регулярно і бажано автоматично.

Задумайтеся, який найбільш прагматичний підхід для цієї ситуації?


Яку файлову систему ви використовуєте на диску, який ви переносите?
Марко Картер

NTFS. Це питання?
Сак

Це важливо, оскільки цільова файлова система могла мати обмеження розміру файлу 2 ГБ, що могло спричинити вашу помилку завжди на рівні 2 ГБ. Але це NTFS, так що, мабуть, це не так :)
Лукас

Так, я ставлю гроші, що це насправді не NTFS.
Брент Озар

Відповіді:


16

Збій, передбачуваний на 2Gb, схоже на винну цільову файлову систему ... Чи є обидва в NTFS? Чи проводите ви компресію через будь-яке стиснення (zip використовується для відмови в межах 2 Гб) ((апаш робить компресію))

Я скопіював багато файлів понад 20 Гбіт за допомогою роботокопії (як уже згадували інші), але я б уникав використання перемикача / MIR, поки не будете впевнені, що копія виконує те, що ви хочете - оскільки вона видалить файли, а також скопіює їх.

SMB страждає від одного пакету за обмеженням часу, тому часто це повільніший спосіб копіювання файлів - у вас є можливість копіювати за допомогою натискання або потягу. Особисто я віддаю перевагу методу push (копіювання ініціюється джерелом).


3
Повністю згоден. 2 Гб - це звичайне вузьке місце для файлових систем FAT. Я б дійсно уважно перевірив, щоб переконатися, що ви не намагаєтесь скопіювати файлову систему FAT.
Брент Озар

я думав, що це 4 ГБ?
подорож Geek

10

Інструмент MS Exchange eseutil - це відмінна утиліта для швидкого копіювання великих файлів по мережі:

eseutil / y source_file / d dest_file.


+1 Ніколи не думав використовувати це для чогось іншого, крім Exchange! Мені доведеться надати той кружляння.
шквал

3
Від technet.microsoft.com/en-us/library/aa998673(EXCHG.80).aspx «Сервер Exchange Server Програми баз даних (Eseutil.exe) / режим копіювання файлів Y оптимізована для ефективного копіювання дуже великих файлів. Ви можете використовувати / Y перемкнути, щоб скопіювати файл бази даних або файл журналу. Однак режим не підходить як утиліта для копіювання загального призначення "
Goyuix

+1, це, мабуть, самий дивовижний побічний ефект утиліти з обслуговування баз даних, яку коли-небудь чули!
Массімо

6

Я настійно рекомендую використовувати безкоштовну утиліту RichCopy . Він багатопотоковий і може призупиняти та відновлювати операції з копіювання файлів. Мені дуже вдало вдалося використовувати його для передачі файлів між серверами.

Мої три основні поради щодо використання RichCopy

  1. Якщо ви копіюєте один або кілька великих файлів, встановіть атрибут "Файл копіювання" більше ніж "1". Він використовує ресурси, але швидше копіює великі файли

  2. Якщо ви копіюєте безліч файлів, то встановіть атрибути "Номер теми" на 10-10-1. Це скопіює кілька файлів швидше

  3. Якщо ви копіюєте через хитке з'єднання. Ви можете запустити завантаження, і воно піде та знайде файли, до яких не вдалося отримати перший раз.

http://blogs.technet.com/markdea/archive/2009/03/24/richcopy-is-it-the-new-sliced-bread.aspx


5

Що стосується утиліт копіювання файлів, TeraCopy - це приємний на основі графічного інтерфейсу графік (не командний рядок), який може чекати безліч файлів, підтримує паузу та відновлення, може динамічно змінювати розмір буфера для оптимізації швидкості, а також може замінити за замовчуванням Windows Explorer копіювати / переміщувати своїми.


3

Робокопія з опцією / MIR дуже корисна для швидкого та брудного резервного копіювання між машинами. Робокопію ви можете знайти в комплекті Windows Resouce 200X Resouce

MIR відобразить вміст одного каталогу на інший сервер. Він буде копіювати лише файли, які були змінені.


2
/ Z - теж солодкий варіант. Це дозволяє відновити невдалі копії. Це врятувало мені життя через повільні мережі
Нік Кавадіас

2

Найпрагматичнішим рішенням для неодноразових переміщень великих файлів резервного копіювання SQL Server є використання стороннього продукту стиснення резервних копій або вбудованого стискання резервної копії SQL Server 2008 Enterprise Edition.

Там є кілька різних продавців. Я працюю в Quest Software, виробників LiteSpeed, але я не тут, щоб нічого продати. Ви хочете перевірити всі продукти там і вирішити, що найкраще підходить для ваших потреб. Ось недавня публікація в блозі, де конкретно йдеться про LiteSpeed, але ті ж самі поняття стосуються і інших продуктів:

http://blogs.lessthandot.com/index.php/DataMgmt/DBAdmin/title-8


1

Ви копіюєте файл через локальну мережу або через якесь WAN-з'єднання, наприклад ADSL? Я припускаю, що це WAN, оскільки 20 Гб не є великим файлом для копіювання через локальну мережу. Я щодня копіюю багато таких файлів.

Якщо це WAN-з'єднання, то, як я це роблю, це використовувати Cygwin версію rsync.

JR


1

У мене не вдалося перенести мережеві передачі приблизно на позначці 2 Гб - це виявилося несправним NIC.


3
несправний NIC завжди провалювався близько 2 ГБ? wierd!
Лукас

можливо, у цього NIC був апаратний прискорений TCP з помилкою в ньому?
qbeuek

Я не впевнений на 100%, що сталося з самим NIC, але це було невлаштованою справою від eBay - як тільки я замінив його, мережеві передачі значно покращилися без падіння з'єднання.
Lazlow


1

Це трохи пізно, але я б рекомендував сторонне резервне копіювання та відновлення програми. Ми використовуємо резервну копію SQL Red Gate ( www.red-gate.com ), вона має стиснення та альтернативні варіанти розташування в графічному інтерфейсі. Я отримую компресію на економію в середньому на 80% - тому ви переносите лише 20% від фактичного розміру дБ. Він також підтримує шифрування, тому його можна використовувати через WAN, не переймаючись перехопленнями.

Його повністю планується, тому може працювати автоматично на обраний вами цикл.

GUI також дозволяє налаштувати та адмініструвати доставку журналів.

Безкоштовна пробна версія доступна за вказаними вище.


0

Я не маю досвіду роботи з таким великим файлом, але чи можете ви скористатися роботопією або навіть xcopy з параметром / Z, який стверджує, що може бути перезавантажений. Схоже, це призначено для великих копій файлів, де мережа не є надійною.


0

Я використовував роботокопію на понад 1 Гб і не мав проблем. ss64.com має чітке пояснення перемикачів. Я не можу опублікувати посилання :-(


0

Зла відповідь ..

Використовуйте Netcat . Універсальний орієнтований посібник для передачі файлів можна знайти тут . Ви можете додатково пришвидшити:

  1. Стисніть на стороні відправника та розпакуйте на стороні призначення. (chuck windows еквівалент gzip посередині командних рядків.)
  2. Виберіть для надсилання даних через udp замість tcp (ей, людина, яка піклується про цілісність даних ?? !!)

Жартуючи вбік, netcat - це, швидше, швидкий спосіб передачі великих файлів по локальній мережі. Оскільки контрольна сума не робиться, можливо, ви захочете зробити суму файлу MD5 перед її надсиланням та порівняти її з сумою MD5 отриманого файлу.

Я багато використовував netcat таким чином, ніколи не бачив, щоб він провалився, ніколи не бачив, щоб він не максимум з мережі ..


Можливо, Netcat простий і швидкий у використанні, але я не отримав з ним високої швидкості. IIRC він ледве досягає 2-3 Мб / с. Що стосується швидкості, то вона занадто сильно смокче.
Крістіан Цюпіту

Я відчуваю, що деякі тести на ефективність продовжуються ... Я побачу, чи зможу знайти час порівняти nfs, cifs, ftp та nc у своїй локальній домашній мережі.
Матвій

Якщо netcat дає лише 2-3 Мб / с, ваша система порушена. ftp і netcat повинні виконувати однаково. nfs та cifs також зазвичай приблизно однакові.
Джастін

0

Можливо, варто розбити файл на менші шматки як короткочасне рішення, поки ви не зможете точно визначити проблему. У нас були проблеми, подібні до цього в минулому, і ftp завжди працював на нас


0

Якщо це файли SQL .bak, які ви копіюєте, я б радимо виконати одне з наступних дій, щоб зменшити файли перед копіюванням:

  • Зменшіть базу даних і обріжте журнал перед запуском резервної копії. АБО
  • Стисніть файл .bak перед копіюванням. Файли SQL .bak стискаються, якщо ви не використовуєте повністю виділений простір у файлах даних та журналів.

Може усунути необхідність альтернативного способу копіювання великих файлів.


Я спробував це. На жаль, не дуже допомагає.
Саке

Тоді з цікавості, тоді ... Чи є у вас автоматичний ріст, встановлений на значення жорсткого байта або%? Або у вас навіть встановлено автоматичне зростання?
шквал

0

Я не думаю, що знайти щось швидше для передачі - це ваша проблема, двічі перевірте, щоб ваша цільова файлова система НЕ ТУТНА, як говорили інші. Крім того, переконайтесь, що в NIC з обох сторін оновлені драйвери, інакше вони не будуть лунати.

З урахуванням сказаного, чи переміщуєте ви багато багато маленьких файлів чи лише кілька великих? Я бачив проблеми з контролером RAID, коли намагався перемістити мільйони крихітних файлів.

Я не думаю, що у вас виникнуть проблеми з автоматизацією цього питання, як тільки ви зрозумієте, що викликає збій. Це може допомогти перерахувати докладнішу інформацію про обладнання та будь-які відповідні помилки, які ви можете побачити у переглядачі подій.


0

Ви намагалися використовувати підключення eSATA до зовнішнього жорсткого диска? З'єднання швидко куряться (3 гігабіти!) І повинні мати можливість перенести цей файл в найкоротші терміни!

З якою швидкістю працює ваша мережна карта на сервері, 10/100 або 10/100/1000? Як виглядає пропускна здатність та комутатор мережі сервера під час копіювання файлу? Як виглядає пропускна здатність мережі призначення (сервера?) При копіюванні? Ви намагалися об'єднати 2 NIC разом? Чи актуальні драйвери мережевих карт? Чи BIOS оновлений?

Є багато речей, які можуть бути проблемою для передачі файлів. Переконайтесь, що апаратні драйвери та BIOS оновлені, дійсно можуть змінити значення.

-JFV


0

Найпростіший і найшвидший спосіб: зовнішні USB-диски та ходьба.

Мій шлях: використовуйте rsync. Якщо копія не вдалася, просто перезавантажте її, і вона підбере там, де вона залишилася.


0

Інша річ, яку слід перевірити, буде перевірити, чи встановлена ​​служба квот на цільовому сервері; Я думаю, що в якості квоти за замовчуванням на користувача використовується 2 ГБ.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.