CentOs 6, rsync / scp великого файлу зупиняється на 40% (2.4G)

Я намагаюся завантажити з віддаленого сервера на локальний ноутбук великий файл (~ 5G), але завантаження зупиняється на 40% розміру (2.4G).

Я використовую цю команду rsync:

rsync --bwlimit=1200 -rh --progress -e 'ssh -p port' server:/path/to/file Downloads/

Я також намагався знизити mtu на сервері з 1500 до 1492, без успіху.

Будь-які пропозиції? : D

— DiTTiD
джерело

Скільки оперативної пам’яті доступно для машини? Це звучить типово для проблеми із пам'яттю в rsync. Версії rsync для Windows раніше були особливо схильні до цього питання.

— Джуліан Найт

@JulianKnight Дякуємо за ваш коментар, сервер має 2 Гб оперативної пам’яті. Клієнт - Mac OSX з 8 ГБ оперативної пам’яті.

— DiTTiD

Цікаво, скільки віртуальної пам’яті ви налаштували, напевно, недостатньо. Я все ще підозрюю, що ви потрапляєте на межі пам'яті. Я рекомендую пильно стежити за статистикою під час її запуску.

— Джуліан Найт

@JulianKnight Я дійсно не встановив віртуальну пам'ять. Просто сервер, як він налаштований під час першого встановлення ...

— DiTTiD,

Відповіді:

Я не вважаю це проблемою мережі.

Набагато більше шансів виникнути питання пам’яті. Маючи лише 2 ГБ оперативної пам’яті і працює RSYNC на файлі 5G, я б підозрював перший сервер. Ви можете сподіватися на моніторинг пам’яті сервера під час його запуску.

Сторона клієнта також може мати проблеми. Наприклад, я відмовився від RSYNC для Windows, тому що він завжди виходив з ладу на великих файлах, незалежно від того, скільки оперативної пам’яті ви мали.

Мені доведеться запитати, чи rsync був правильним інструментом для виконання таких великих файлів. Це залежить від файлу, звичайно, але якщо будь-які оновлення не піддаються різному двигуну rsync, певно, немає сенсу. Прямий переказ може бути кращим. Ви навіть можете використовувати щось на зразок zip або tar для розділення файлу, щоб ви могли надсилати його по частинах і збирати на іншому кінці.

— Лицар Джуліана
джерело

Дякую за вашу відповідь. Я зараз перевірю статистику. Як прямий переказ, що ви маєте на увазі? Як мені передати цей файл замість команд, що стосуються ssh?

— DiTTiD

Використовуйте SCP або SFTP, які обидва використовують SSH під шкірою. Я зазвичай використовую WinSCP в Windows, вам потрібно буде знайти щось для Mac.

— Джуліан Найт

Дякую за вашу відповідь. Я подумав, що все одно зрозуміло, що я маю таку ж поведінку навіть з scp: stall at 40% ...

— DiTTiD

будь ласка, спробуйте наступне:

знизити MTU до 1492

sudo ifconfig eth0 mtu 1492

відключити TCP SACK

sudo sysctl -w net.ipv4.tcp_sack = 0

— Кирило Шабой
джерело