Як відобразити файлові системи з мільйонами жорстких посилань?

На даний момент у нас є одна велика проблема: нам потрібно відобразити файлову систему для одного з наших клієнтів. Це звичайно насправді не проблема, але ось це:

У цій файловій системі є одна папка з мільйонами жорстких посилань (так! МІЛЬОНИ!). rsyncДля складання списку файлів потрібно більше 4 днів.

Ми використовуємо наступні rsyncваріанти:

rsync -Havz --progress serverA:/data/cms /data/

Хтось має ідею, як пришвидшити цю rsync або використовувати альтернативи? Ми не могли використовувати, ddоскільки цільовий диск менший від вихідного.

UPDATE: В оригінальній файлової системи ext3ми будемо намагатися dumpі restore. Я буду тримати вас оновленими

Вам потрібно оновити обидві сторони до rsync 3. З журналу змін:

- A new incremental-recursion algorithm is now used when rsync is talking
  to another 3.x version.  This starts the transfer going more quickly
  (before all the files have been found), and requires much less memory.
  See the --recursive option in the manpage for some restrictions.

З часу виходу rsync 3.0.0 минуло більше 2 років, але, на жаль, більшість корпоративних дистрибутивів базується на коді, старшому за це, а це означає, що ви, ймовірно, використовуєте rsync 2.6.

Для довідки (якщо хтось інший має цю проблему), якщо ви вже запускаєте rsync 3, то ви використовуєте параметри, несумісні з поступовою рекурсією. На чоловіковій сторінці:

    Some options require rsync to know the full file list, so  these
    options  disable the incremental recursion mode.  These include:
    --delete-before,   --delete-after,    --prune-empty-dirs,    and
    --delay-updates.

Крім того, знову ж таки, обидві сторони повинні виконувати rsync 3 для підтримки інкрементальної рекурсії.

Зараз ми використовували ext * dump. Працює добре, і сторона відновлення навіть не повинна бути ext *.

Ми зробили резервну копію в автономному режимі, підрахувавши пристрій і використовуючи його dump vf - /dev/vg0/opt | gzip -c > /mnt/backup/ext3dump.gz.

Тут знаходяться останні рядки розміру, часу, швидкості та останніх номерів вводу:

DUMP: dumping regular inode 47169535
DUMP: dumping regular inode 47169536
DUMP: Volume 1 completed at: Wed Jun 29 05:42:57 2011
DUMP: Volume 1 54393520 blocks (53118.67MB)
DUMP: Volume 1 took 4:16:43
DUMP: Volume 1 transfer rate: 3531 kB/s
DUMP: 54393520 blocks (53118.67MB)
DUMP: finished in 15403 seconds, throughput 3531 kBytes/sec
DUMP: Date of this level  dump: Wed Jun 29 01:24:29 2011
DUMP: Date this dump completed:  Wed Jun 29 05:42:57 2011
DUMP: Average transfer rate: 3531 kB/s
DUMP: DUMP IS DONE

Ви можете використовувати LVM і робити знімки обсягу, а потім синхронізувати знімок як резервну копію.

Крім того, ви можете поєднувати це з іншою відповіддю та використовувати dump на томі знімків , щоб уникнути необхідності приймати оригінальний том в автономному режимі.