Граничний обсяг RSync до WebDAV дуже повільний

11

У мене є змонтований магазин WebDAV, з яким я граю, щоб спробувати створити власний псевдо-DropBox. Однак здається, що завантажувати файли більшого розміру дуже повільно (мій графік пропускної здатності трохи поправляється, а потім просто зупиняється на довгих періодах).

Хтось пробував це? Мені цікаво, якщо спосіб його встановлення змушує rsyncдумати, що це локальний привід чи щось таке, і тому може бути балаканишим, ніж це було б, якби він знав, що це встановлений мережевий диск?

Я синхронізую за допомогою наступної команди:

rsync -rv /source/directory/ /mounted/webdav/directory/

Це працює за допомогою MacOS 10.6, а WebDAV монтується за допомогою власного механізму кріплення.

— AlexC
джерело

13

Перевірте сторінку чоловіка

--size-only тому що більшість реалізацій webdav не приймає час зміни параметрів
--no-whole-file сказати rsync, що він обробляє віддалену файлову систему
--inplace наявність rsync заміни файлів безпосередньо, замість завантаження потім заміни

До речі, я використовую інший шар encfs для шифрування файлів на webdav, і я цілком задоволений роботою.

— ребр
джерело

Як --inplaceдопомогти? У посібнику: Цей параметр корисний для передачі великих файлів із блоковими змінами або доданими даними, а також у системах, що пов'язані з диском, не пов'язаними з мережею . Це також може допомогти утримати знімок файлової системи під час запису при копіюванні від розбігання всього вмісту файлу, який має лише незначні зміни.

— msa.im

Моя команда

sudo mount -t davfs https://webdav.yandex.com/ ~/mnt/yd; rsync -avrc --size-only --no-whole-file /home/msa/xranitel/webdav /home/msa/mnt/webdav

— msa.im

0

Я спробував це на сервері, для якого я маю доступ як до rsync, так і до WebDAV, щоб просто побачити різницю, і метод rsync через WebDAV був набагато повільніше. Повинно бути протокольною справою. Я не думаю, що rsync локальніше частіше, ніж через мережу.

— фіделі
джерело

0

Я впевнений, що це тому, що rsync обчислює контрольну суму для порівняння та після передачі. Оскільки файл зберігається віддалено, це означає, що він переноситься кілька разів.

Ви можете запустити rsync як демон або через ssh, щоб зробити обчислення на сервері. Або просто відключити контрольну суму.

— bdecaf
джерело

0

Я виявив, що встановлення веб-диска Mac OSX ненадійне (10.11.6 El Capitan). Якщо я використовую rsync, tar, cp або будь-який інший інструмент, деякі файли потрапляють у пошкодження. Я можу повторювати та повторювати, але різні файли щоразу пошкоджуються. Потім я монтую ту саму точну папку webdav, у вікні VM всередині mac (та сама мережа, те саме апаратне забезпечення, те саме, за винятком тепер це VM Windows замість Mac OSX), і тоді все працює нормально.

— Едвард Нед Гарві
джерело