Використання DD для клонування дисків

Існує ряд питань щодо інструментів клонування дисків, і ddхоча б раз було запропоновано. Я вже розглядав можливість використання dd, головним чином, тому, що це простота використання, і що це легко доступно майже на всіх завантажувальних дистрибутивах Linux.

Який найкращий спосіб використовувати ddдля клонування диска? Я здійснив швидкий пошук у Google, і першим результатом стала явна невдала спроба . Чи є щось, що мені потрібно зробити після використання dd, тобто є щось, що не можна читати, використовуючи dd?

dd, безумовно, найкращий інструмент для клонування, він створить 100% репліку просто за допомогою наступної команди. Я ніколи не мав жодних проблем з цим.

dd if=/dev/sda of=/dev/sdb bs=32M

Майте на увазі, що під час клонування кожного байта ви не повинні використовувати це на диску або розділі, який використовується. Особливо такі програми, як бази даних, не дуже добре впораються з цим, і ви можете зіпсуватись із пошкодженими даними.

Щоб заощадити місце, ви можете стиснути дані, створені dd, за допомогою gzip, наприклад:

dd if=/dev/hdb | gzip -c  > /image.img

Ви можете відновити диск за допомогою:

gunzip -c /image.img.gz | dd of=/dev/hdb

Щоб заощадити ще більше місця, дефрагментуйте диск / розділ, який ви хочете заздалегідь клонувати (якщо це доречно), а потім викресліть весь залишковий невикористаний простір, що полегшує стиснення gzip:

mkdir /mnt/hdb
mount /dev/hdb /mnt/hdb
dd if=/dev/zero of=/mnt/hdb/zero

Почекайте трохи, що в кінцевому підсумку DD не вдасться отримати повідомлення "диск повний", тоді:

rm /mnt/hdb/zero
umount /mnt/hdb
dd if=/dev/hdb | gzip -c  > /image.img

Також ви можете отримати процес dd, який працює у фоновому режимі, щоб повідомити про стан, надіславши йому сигнал за допомогою команди kill, наприклад:

dd if=/dev/hdb of=/image.img &
kill -SIGUSR1 1234

Перевірте свою систему - наведена вище команда для команд Linux, OSX та BSD dd відрізняється за прийнятими ними сигналами (використовує OSX SIGINFO- ви можете натиснути Ctrl+, Tщоб повідомити про стан).

ПОПЕРЕДЖЕННЯ : введення живої файлової системи може пошкодити файли. Причина проста, вона не має розуміння діяльності файлової системи, яка може тривати, і не робить спроб пом'якшити її. Якщо запис частково триває, ви отримаєте часткове записування. Зазвичай це не добре для речей, і взагалі фатально для баз даних. Крім того, якщо ви загвинчувати опечатку схильної якщо і з параметрів, горе вам. У більшості випадків rsync є не менш ефективним інструментом, написаним після появи багатозадачності , і надаватиме послідовний перегляд окремих файлів.

Однак DD повинен точно фіксувати стан бітів відключеного диска. Завантажувачі, обсяги llvm, UUID розділів та мітки тощо. Просто переконайтеся, що у вас є диск, здатний відображати біт цільового накопичувача.

Використовуючи dd для клонування диска, який може містити погані сектори, використовуйте "conv = noerror, sync", щоб переконатися, що він не зупиняється, коли трапляється помилка, і заповнюйте відсутні місця (сектори) нульовими байтами. Зазвичай це перший крок, який я роблю, якщо намагаюся відновити з невдалого або несправного диска - отримайте копію, перш ніж робити спроби відновлення, а потім виконайте відновлення на хорошому (клонованому) диску. Я залишаю це інструменту відновлення, щоб впоратися з будь-якими порожніми секторами, які не вдалося скопіювати.

Крім того, на швидкість ДД може вплинути налаштування b (розмір блоку). Я зазвичай пробую bs = 32768, але ви, можливо, хочете протестувати його на власних системах, щоб побачити, що працює для вас найшвидше. (Це передбачає, що не потрібно використовувати певний розмір блоку з іншої причини, наприклад, якщо ви пишете на касету.)

Щоб клонувати диск, все, що вам потрібно зробити, це вказати вхід і вихід до dd:

dd if=/dev/hdb of=/image.img

Звичайно, переконайтеся, що у вас є відповідні дозволи на читання безпосередньо з / dev / hdb (я б рекомендував запускати як root), і що / dev / hdb не встановлено (ви не хочете копіювати, поки диск є змінюється - також прийнятний монтаж лише для читання). Після завершення image.img буде клоном байтів для всього диска.

Є кілька недоліків використання DD для клонування дисків. По-перше, dd скопіює весь ваш диск, навіть порожній простір, і якщо це зроблено на великому диску, це може призвести до надзвичайно великого файлу зображення. По-друге, dd не дає абсолютно жодних ознак прогрес, що може розчарувати, оскільки копія займає тривалий час. По-третє, якщо ви скопіюєте це зображення на інші диски (знову ж таки, використовуючи dd), вони повинні бути такими ж великими або більшими, ніж оригінальний диск, але ви не зможете використовувати додаткове місце, яке може бути на цільовому диску, поки ви не змінити розмір розділів.

Ви також можете зробити пряму копію з диска на диск:

dd if=/dev/hdb of=/dev/hdc

але ви все ще дієте зазначених вище обмежень щодо вільного місця.

Що стосується питань або проблем, здебільшого, відмінно справляється. Однак деякий час тому у мене був жорсткий диск, який збирався померти, тому я використав дд, щоб спробувати скопіювати ту інформацію, яку я міг би вимкнути, перш ніж вона повністю загинула. Тоді стало відомо, що dd не дуже добре поводиться з помилками читання - на диску було кілька секторів, які DD не міг прочитати, що призвело до того, що dd відмовилася від зупинки копії. У той час я не міг знайти спосіб сказати dd, щоб продовжувати, незважаючи на помилку читання (хоча, здається, у нього є таке налаштування), тому я витратив досить багато часу вручну, вказуючи пропустити і намагаюся перейти через нечитабельні розділи.

Я витратив деякий час на дослідження вирішення цієї проблеми (після того, як я виконав завдання) і знайшов програму під назвою ddrescue , яка, за даними сайту, працює як ДД, але продовжує читати, навіть якщо зустрічається з помилкою. Я ніколи фактично не використовував програму, але це варто задуматися, особливо якщо диск, з якого ви копіюєте, старий, що може мати погані сектори, навіть якщо система виглядає добре.

Якщо привід джерела пошкоджений на всіх, ви будете мати більше удачі , використовуючи dd_rhelpз dd_rescue(моїм особистим перевагою) або GNU ddrescue.

Причиною цього є те, що після помилок читання ddнамагається намагатися і намагатися - потенційно довго чекаючи настання тайм-аутів. dd_rescueробить розумні речі, такі як читання до помилки, потім вибирає місце далі на диску і читає назад до останньої помилки, і dd_rhelpв основному це dd_rescueменеджер сеансів - вміло запускаючи та поновлюючи dd_rescueзапуски, щоб зробити це знову швидше.

Кінцевим результатом dd_rhelpє максимальне відновлення даних за мінімальний час. Якщо ви залишите dd_rhelpбігти, врешті-решт це зробить точно таку ж роботу, як і ddв той же час. Однак, якщо ddу байт 100 вашого 100Gb диска виникли помилки читання, вам доведеться довго чекати, щоб відновити інші 9 999 900 байт *, тоді як dd_rhelp+ dd_rescueвідновить більшу частину даних набагато швидше.

На вихідному диску не повинно бути встановлених файлових систем. Як користувач, здатний читати блок пристрою (root працює), запустіть 'dd if = / dev / sda ....'

Тепер, одна з акуратних речей тут, це те, що ви створюєте потік байтів ... і ви можете зробити багато з цим: стиснути його, відправити по мережі, збити на дрібніші краплі тощо.

Наприклад:

dd if=/dev/sda | ssh user@backupserver "cat > backup.img"

Але більш потужно:

dd if=/dev/sda | pv -c | gzip | ssh user@backupserver "split -b 2048m -d - backup-`hostname -s`.img.gz"

Вищезазначене копіює стиснене зображення жорсткого диска джерела у віддалену систему, де він зберігає його в пронумерованих фрагментах 2G, використовуючи ім'я хоста джерела, зберігаючи вас в курсі прогресу.

Зауважте, що залежно від розміру диска, швидкості процесорного коду на джерелі, швидкості процесорного коду в пункті призначення, швидкості мережі тощо. Ви можете пропустити компресію або зробити компресію на віддаленій стороні або включити компресію ssh.

Щоб клонувати диск, все, що вам потрібно зробити, це вказати вхід і вихід dd:

dd if=/dev/hdb of=hdb.img

Звичайно, переконайтеся, що у вас є відповідні дозволи на читання безпосередньо з /dev/hdb(я б рекомендував запустити як root), і /dev/hdbце не встановлено (ви не хочете копіювати під час зміни диска). Після завершення hdb.imgбуде байт-байт-клон всього диску.

Є кілька недоліків використання ddдля клонування дисків. По-перше, ddбуде скопійовано весь ваш диск, навіть порожній простір, і якщо це зроблено на великому диску, це може призвести до надзвичайно великого файлу зображення. По-друге, не ddпередбачає абсолютно ніяких ознак прогрес, що може розчарувати, оскільки копія займає багато часу. По-третє, якщо ви скопіюєте це зображення на інші диски (знову ж таки, використовуючи dd), вони повинні бути такими ж великими або більшими, ніж оригінальний диск, але ви не зможете використовувати додаткове місце, яке може бути на цільовому диску, поки ви не змінити розмір розділів.

Ви також можете зробити пряму копію з диска на диск:

dd if=/dev/hdb of=/dev/hdc

але ви все ще дієте зазначених вище обмежень щодо вільного місця.

Перший недолік можна усунути, зібравши дані під час створення копії. Наприклад:

dd if=/dev/hdb | gzip -9 > hdb.img.gz

Другий недолік можна вирішити за допомогою інструменту pipeview ( pv). Наприклад:

dd if=/dev/hdb | (pv -s `fdisk -l /dev/hdb | grep -o '[0-9]*\{1\} MB' | awk '{print $1}'`m) | cat > hdb.img

Я не знаю жодного способу подолати третій недолік.

Крім того, ви можете пришвидшити час копіювання, ddзапропонувавши працювати з більшими фрагментами даних. Наприклад:

dd if=/dev/hdb of=hdb.img bs=1024

Ще одна приємна річ, яку ви можете зробити з dd і рятувальними дисками - це копіювання даних по мережі:

remote_machine$ nc -l -p 12345

local_machine$ dd if=/dev/sda | nc remote_machine 12345

Ви можете вставити gzip в обох цих конвеєрах, якщо мережа не локальна. Для прогресу використовуйте pv. Щоб змусити вивести мережу net_at local_machine після її копіювання, ви можете додати -w 5щось.

Майте на увазі, що ДД робить точну копію , включаючи весь порожній простір.

Це означає:

1. 2-й привід повинен бути як мінімум таким же великим, як перший
2. Якщо другого накопичувача більше, витрачається додаткове місце (файлова система може бути розширена)
3. Якщо джерело накопичувача не повне, DD витратить багато часу на копіювання порожнього простору.
4. Таким чином ви можете скопіювати або весь диск, або один розділ.
5. Якщо це завантажувальний диск, я впевнений, що вам потрібно встановити завантажувач після використання dd

Сподіваюся, що це корисно

Для подальшого ознайомлення може бути цікавим перевірити ddrescue . Це врятувало мені день кілька разів.

Ще одна особлива особливість - копіювання MBR, таблиць розділів та завантажувальних записів.

Просто

dd if=/dev/sda of=parttable bs=512 count=1

і інший напрямок навколо, коли ви пишете це. Польська з fdiskпісля.

Ви відчуваєте себе набагато безпечніше, коли у вас є резервна копія таблиці розділів.

Крім того, це робить радість переходу на інший жорсткий диск (змінюючи структуру розділення).

Це свого роду дешевий злом, але це швидкий і брудний спосіб контролювати ваш процес DD.

Запустіть команду dd. Відкрийте нову оболонку та зробіть ps awx, щоб знайти ПІД свого процесу DD. Тепер у новому типі оболонки дивіться -n 10 kill -USR1 {pid вашого DD-процесу}

Це не зробить нічого у вікні виводу годинника, але повернувшись в оригінальну оболонку DD, DD почне виводити звіти про стан кожні 10 секунд. Ви можете змінити -n 10 в команді watch на будь-який інший часовий інтервал, звичайно.

Тахіон

dd if=/dev/sda of=/dev/sdb bs=4096 conv=sync,noerror

Це скопіює диск і пропустить блоки з помилками, що дуже важливо.

Це основні та найважливіші параметри використання dd для клонування або збереження диска.

Я не хотів публікувати іншу відповідь, але серед 25 вже опублікованих варіантів не було хороших відповідей із суттєвими параметрами "conv = sync, noerror".

Ви насправді можете спробувати щось подібне

dd, якщо = / dev / sda2 of = / dev / sdb2 bs = 4096 conv = sync, noerror

щоб пропустити всі помилки і мати точний клон розділу чи жорсткого диска

dd надає інформацію про прогрес - ну і більшість версій в Linux. Я бачив деякі, які не згадують аромат Unix.

На головній сторінці написано: Якщо надіслати сигнал USR1 до запущеного процесу 'dd', воно дозволяє надрукувати статистику вводу-виводу на стандартну помилку, а потім відновити копіювання.

Я регулярно використовую цю функцію.

Хтось повинен був сказати це: спробуйте Clonezilla (http: // clonezilla.org/)

Що ви отримуєте? Для копіювання лише використаних частин файлової системи. Clonezilla використовує dd, grub, sfdisk, parted, partimage, ntfsclone та / або partclone. Залежно від обраних варіантів.

Достойну документацію можна знайти за посиланням: http: // clonezilla.org/clonezilla-live/doc/

Як скопіювати за допомогою dd (у даному випадку на віддалену машину, але той самий принцип застосовується і до локальної копії), який демонструє прогрес.

Він працює, зберігаючи pid через дескриптор файлу 3 в / tmp / pid, який потім використовується для наступних вбитих сигналом USR1. Зморшкою потрібно було фільтрувати вихід прогресу на stderr лише до одного рядка за допомогою фільтрування stderr через нижню частину.

(dd bs=1M if=$lv-snapshot & echo $! >&3 ) 3>/tmp/pid  2> >(grep 'copied' 1>&2) | gzip --fast | ssh $DEST "gzip -d | dd bs=1M of=$lv" &
# Need this sleep to give the above time to run
sleep 1
PID=$(</tmp/pid)

while kill -0 $PID; do
  kill -USR1 $PID
  sleep 5
done

Найбільше інформації було описано в попередніх вставлених відповідях, але описано не все.

Під Linux можна клонувати жорсткий диск або розділ за допомогою команди dd. Увага, коли ви помилитесь, ви втратите всі свої дані.

По-перше, призначення не повинно використовуватися, по-друге, джерело не повинно використовуватися або перетворюватися в режим лише для читання. Інакше копія буде пошкоджена. Якщо повторна переробка неможлива, будь ласка, зробіть завантажувальний диск (hdd / ssd / pendrive) будь-який дистрибутив Linux в реальному часі. Я підтверджу knoppix, але це ваш вибір. Якщо це можливо, ви можете завантажити або змінити системний рівень на 1, для режиму одиночного користувача, або ви можете безпосередньо перезавантажити систему в режимі одного користувача, це залежить від дистрибуції. Якщо ви будете клонувати лише один розділ, цей розділ слід відключити або перезавантажити в RO:

umount /mountpoint_or_device

або

remount -o,ro /mountpoint_or_device

Якщо ви хочете клонувати весь жорсткий диск, ви повинні перерахувати або перезавантажити всі розділи.

Ви повинні визначити джерело та пристрій призначення. будь ласка, подивіться на dmesg, тут зберігається вся необхідна інформація про пристрій, з постачальником та інше, інакше ідентифікація може залежати від розміру пристрою, якщо він інший. Далі пункт призначення повинен бути таким же або більшим, ніж джерело. Ви повинні обчислити джерело, наприклад: fdisk -l / dev / sda, за винятком геометрії розділів (може бути GPT), ви отримаєте: 1. загальний розмір диска GB та байтів 2. історична геометрія та загальний номер сектору, дуже важлива інформація 3. розмір блоку в байтах, зазвичай це 512.

наприклад:

# fdisk -l /dev/sda

Disk /dev/sda: 21.5 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders, total 41943040 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000f1d1e

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048    40136703    20067328   83  Linux
/dev/sda2        40138750    41940991      901121    5  Extended
/dev/sda5        40138752    41940991      901120   82  Linux swap /     Solaris

наступний спробуй більший за 512 дільник, ми маємо 41943040 фізичні сектори:

41943040/256 = 163840, дуже добре, ми можемо зробити копію 256 секторів. ми можемо більше? спробуємо: 41943040/1024 = 40960, я думаю, що цього достатньо, ми виберемо цей. Порахуймо розмір групи секторів: 512 (розмір сектору) * 1024 = 524288 байт eq 512K. Тоді ми можемо використовувати параметр bs = 512K або менше, але розділимо це на 2 ^ x. Для сучасних жорстких дисків з великим внутрішнім кешем це досить практично. для старих накопичувачів зі значно меншим кешем достатньо значення 32K або менше.

Тоді після підготовки ми можемо зробити копію: dd, якщо = / dev / source_devide of = / dev / target_device bs = 32K, і копія буде зроблена. Зверніть увагу, будь-яка помилка замінить ваші важливіі дані. У пункті призначення всі будуть перезаписані.

Якщо ви спробуєте зберегти дані на пошкодженому вихідному диску, краще скористайтеся нативним розміром сектора, зазвичай це 512 байт, і додайте параметр conv = notrunc. інакше дірки в джерелі, скинуті поганими секторами, приєднаються до переміщення сектору за призначенням. Це призведе до пошкодження копії з невеликим шансом на ремонт. тоді команда буде:

dd if=/dev/source of=/dev/destination bs=512 conv=notrunc  

, і довго чекати, коли привід і система відмовлять і будуть ходити по секторах до кінця.

dd - корисний інструмент для переміщення розділу на нове місце. Просто створіть розділ, зробіть dd до нового розділу (це може бути більше, набагато більше), і, якщо можливо, розгорніть скопійовану файлову систему для заповнення всіх нових розділів, ext3 / ext4 / xfs / zfs / btrfs мають цю функцію. Нарешті, ви повинні змінити / etc / fstab, а потім umount / mount, якщо можливо, або перезавантажити систему.

Звичайно, ви можете клонувати будь-який тип розділу. Команда dd не розглядає тип файлової системи, вона нічого не робить зі своєю структурою. тоді ця команда може бути використана для клонування NTFS або інших типів розділів.

Є якась хитрість. Якщо ви не встановили параметр, то DD поставить вихід у свою версію. тоді ви можете зробити стиснуту необроблену копію диска або розділу, наприклад:

dd if=/dev/sda bs=512 | gzip >/any/place/computerOne_sda.gz

Звичайно, це слід робити в автономному режимі. Ви можете відновити це:

zcat /any/place/computerOne_sda.gz| dd of=/dev/sda bs=512   

, тоді всі жорсткі диски sda будуть замінені цією резервною копією, і всі поточні дані будуть втрачені. Ви можете зробити це також за допомогою розділу NTFS Windows і жорсткого диска, який використовується для цього. Звичайно, ви можете використовувати іншу команду стиснення, залежно від вашого вибору.

Ви можете створити стислий файл зображення розділу (або диска) на льоту за допомогою bzip2або gzipзамість dd. Це добре для зберігання подалених зображень у знімних носіях:

bzip2 -c /dev/sdaX >imagefile.bz2
or
gzip -c /dev/sdaX >imagefile.gz

Якщо диск раніше активно використовувався, ви можете посилити стиснення, заповнивши весь невикористаний простір нулями перед зображенням:

mkdir /mnt/mymountpoint
mount /dev/sdaX /mnt/mymountpoint
cat /dev/zero >/mnt/mymountpoint/dummyfile.bin
(Wait for it to end with a "disk full" error)
rm /mnt/mymountpoint/dummyfile.bin
umount /mnt/mymountpoint

Щоб відновити зображення на інший диск, все, що вам потрібно зробити, це:

bzcat imagefile.bz2 >/dev/sdbY
or
zcat imagefile.gz >/dev/sdbY

З певних причин DD не виходить із зображення компакт-дисків із звуковими записами. Щоб отримати зображення + файл TOC, потрібно використовувати cdrdao або щось подібне.

Примітка про швидкість: за моїм досвідом, дд вдвічі швидше, якщо ви вказали bs = 1024 замість bs = 512 за замовчуванням. Використання ще більшого розміру блоку не дає помітного прискорення швидкості на bs = 1024.

Одне, що ви повинні пам’ятати, коли вводити повний диск, це те, що це замінить основний запис завантажувального диска. Це містить таблицю розділів та іншу життєво важливу інформацію. Якщо новий диск не такий, як старий диск, це може створити всілякі таблиці. Копіювання через розділи, як правило, безпечніше (а підкачування розділів не потрібно копіювати)

Я вже багато років був поза ролі адміністратора, але знаю, що "дд" вирішено. Я регулярно використовував цю техніку в кінці 80-х на комп’ютерах Sun Sparc і 386i. У мене було одне замовлення клієнта на 30 систем 386i, що працюють з програмним забезпеченням CAD, яке розповсюджувалось на декілька стрічок QIC.

Ми встановили на першому комп’ютері, налаштували додаток, запустили sys-unconfig SunOS, помістили диск в коробку для взуття з іншою адресою SCSI, а потім перейшли до «dd» до інших 30 дисків.

Як вже згадували інші, одним із проблем із клонуванням змонтованої файлової системи є потенційна корупція даних. Це, очевидно, не стосується повних клонів накопичувачів, але якщо ви використовуєте LVM, ви можете зробити знімок LogicalVolume і dd зі знімка, щоб отримати стійке зображення.

Для томів NTFS я вважаю за краще використовувати ntfsclone . Це частина пакету ntfsprogs .

Просто попередження для початківців, що потрібно сказати: Принаймні, з деякими версіями, bs = X означає, що пам'ять розміром X буде буквально виділена. bs = 2 ГБ в системі з 1 ГБ оперативної пам’яті та недостатньою кількістю свопів, БУДЕ статися поганих речей.