Передача великої кількості даних між континентами [дублікат]

Можливий повтор:
Безкоштовний спосіб спільного використання великих файлів через Інтернет?
Які існують варіанти передачі великих файлів без використання Інтернету?

Лабораторія моєї дружини займається проектом тут, у США, з співробітниками в Сінгапурі. Іноді їм потрібно передавати велику кількість даних високого розміру зображення (~ 10 ГБ стиснуто) по континентах. З сучасними технологіями, що було б хорошим рішенням для цього сценарію використання?

Я можу придумати декілька, але жодна з них не здається ідеальною:

• Пряме з'єднання через Інтернет: швидкість передачі становить близько 500 КБ / с, також не вистачає інструменту для обробки помилок / повторної передачі.
• Завантажте на загальний сервер або службу, таку як Dropbox: болісно завантажувати для співпрацювача, який не є США.
• Записування дисків або копіювання на жорсткі диски та доставка через Courier: затримка значна, плюс додаткова робота для створення локальної копії.

Будь-які пропозиції?

Оновлення: жодна із сторін співпраці не є споживачами технологій.

Я пропоную вам використовувати rsync . Rsync підтримує алгоритм передачі дельти, тому якщо ваші файли лише частково змінені, або якщо попередня передача була припинена аномально, Rsync досить розумний, щоб синхронізувати лише те, що нового / змінено.

Існує кілька портів оригінального Rsync для Windows та інших несумісних сумісних систем, як безкоштовних, так і невільних. Докладнішу інформацію див. У статті Вікіпедії Rsync .

Rsync через SSH дуже широко використовується і працює добре. 10 Гб - це порівняно невеликий обсяг даних в наші дні, і ви не вказували, що означає "періодично". Щотижня? Щодня? Щогодини? З швидкістю передачі 500 КБ / с це займе близько 6 годин, а не дуже довгий час. Якщо вам потрібно часто передавати дані, можливо, краще створити завдання cron, щоб автоматично запустити rsync.

Підключення через Інтернет може бути життєздатним варіантом, і така програма, як bittorrent, точно підходить для цієї мети, оскільки вона розбиває файли на логічні фрагменти, що надсилаються через Інтернет для реконструкції на іншому кінці.

Bittorrent також надає вам автоматичне виправлення помилок, відновлення пошкоджених фрагментів, і якщо більше людей потребує файлів, вони отримають користь від того, що зможуть доставити файл із стільки джерел, скільки вже є (частин) завантаженого файлу.

Люди, що бачать, вважають це приємним способом завантаження фільмів та іншого, але в цьому є набагато більше законних цілей.

Багато третейських клієнтів також мають вбудовані трекери, тому вам не потрібно мати спеціальний сервер для розміщення файлів.

Розділіть файл на шматки, наприклад, 50 Мб (використовуючи напр. split). Обчисліть контрольні суми для всіх (наприклад md5sum). Завантажуйте безпосередньо за допомогою FTP та FTP-клієнта, що спричинює помилки, наприклад lftpу Linux. Перенесіть усі фрагменти та файл, що містить усі контрольні суми.

На віддаленому веб-сайті переконайтеся, що всі фрагменти мають потрібну контрольну суму, перезавантажте ті, що не вдалося, та зіберіть їх у вихідний файл (наприклад, використовуючи cat).

Поверніть місце розташування сервера (я розміщував при припущенні, що місце призначення надав сервер, і ви розпочнете передачу локально, коли файли будуть готові) за необхідності. Ваш FTP-клієнт не повинен байдуже.

У мене були подібні проблеми в минулому, і використання FTP-клієнта, стійкого до помилок, працював. Жоден біт ніколи не перевертався, просто регулярне переривання з'єднання, тож я міг пропустити створення фрагментів і просто завантажити файл. Ми все-таки надали контрольну суму на повний файл, про всяк випадок.

Різновидом відповіді Деніела Бека є розбиття файлів на шматки порядку від 50 до 200 Мб та створення файлів парності для всього набору.

Тепер ви можете перенести файли (включаючи файли парності) за допомогою FTP, SCP або чогось іншого на віддалений сайт і зробити перевірку після прибуття всього набору. Тепер, якщо є пошкоджені частини, їх можна виправити файлами парності, якщо достатньо блоків. Це більш-менш залежить від того, скільки файлів пошкоджено та скільки створених файлів парності.

Файли парності дуже часто використовуються на Usenet для надсилання великих файлів. Більшість часу вони розбиваються як архіви RAR тоді. Не рідкість таким чином надсилати дані до 50-60 Гб.

Ви обов'язково повинні ознайомитись з першим посиланням, і ви також можете подивитися на QuickPar , інструмент, який можна використовувати для створення файлів парності, перевіряє завантажені файли і навіть може відновити пошкоджені файли за допомогою наданих файлів парності.

Це один великий 10 Гб файл? Чи можна було легко розділитись?

Я не дуже багато грав з цим, але це вразило мене цікавою і порівняно простою концепцією, яка може працювати в цій ситуації:

http://sendoid.com/

Зробіть доступними дані через ftp / http / https / sftp / ftps (для цього потрібні облікові дані для входу) та використовуйте будь-який менеджер завантажень на стороні клієнта.

Менеджери завантажень спеціально розроблені для отримання даних незалежно від помилок, які можуть виникнути, щоб вони ідеально відповідали вашим завданням.

Щодо сервера, FTP-сервер, як правило, найпростіший у налаштуванні. Ви можете ознайомитися зі списком у Вікіпедії. HTTPS, SFTP і FTPS дозволяють шифрувати (у чистому FTP / HTTP, пароль надсилається чітким текстом), але SFTP / FTPS рідше підтримується клієнтським програмним забезпеченням, а налаштування сервера HTTP / HTTPS є складним.