Синхронізація каталогів з автоматичним виявленням однорангових програм

10

Я працюю з кластером серверів Linux, що сидять за функцією автоматичного масштабування ( документація ) хмари Amazon . Є файли, які накопичуються на кожному сервері, вони є файлами кешу програми. Я шукаю автоматизований спосіб синхронізувати цю папку між серверами.

Rsync працювало б, якби хтось мав розумний спосіб зробити пошук однолітків.
Те саме стосується Unison.
Ми також розглядали можливість використання SaaS, такого як Dropbox.
Gluster здається непосильним, і я не впевнений, наскільки легко мати новий комп'ютер автоматично приєднатися до кластеру.

В ідеалі, що трапиться, це коли запустити новий сервер, він виявить його одноранговий і розпочне синхронізацію папки. З цього моменту остання файлова марка виграє P2P синхронізацію.

Що-небудь там, що робить це?

linux rsync cluster

— Калеб
джерело

Цей не робить однорангового виявлення, але це може зацікавити незалежно - mrsync.sourceforge.net .

— Faheem Mitha

1

Ви знаєте, як це дивно не звучало, але використання rtorrent з включеним DHT у приватному діапазоні ec2 може працювати

Це дало б вам

Автоматичне виявлення однолітків
Перевірені стани файлів (так для хешей)
Мінімальні вимоги до конфігурації (додайте магніт (або віртуальний ip для останнього торрента) для торрента в сценарій запуску)
масштабованість

— Тактикус
джерело

1

Rsync вище за течією забезпечує підтримку SLP (протокол розташування служби). Він не включений у джерелах rsync ванілі, але ви можете знайти підтримку SLP у rsync-патчах тарболу на головній сторінці rsync (slp.diff). Наприклад, пакет SUSE rsync створений за допомогою цього патча; Я не знаю про інші дистрибуції.

Я не впевнений, що це те, що ви шукаєте, і я не маю жодного досвіду роботи з SLP.

— Петро Узель
джерело

0

Можливо, мені чогось тут не вистачає, але чи є якась причина, що ви не просто налаштовуєте простий каталог NFS, а просто всі машини монтуєте це? Щоразу, коли програма записує новий файл кешу, він повинен просто перезаписати будь-які старі.

— опсгуй
джерело

1

Привіт опсгуй. Що вам не вистачає - це те, що відбувається, коли машина з NFS виходить з ладу? Ми намагаємося усунути єдину точку відмови кешу.

0

Я впевнений, що існує якийсь інструмент управління Amazon, такий як Інструменти командного рядка , який дозволяє писати сценарій завантаження, щоб змусити вузли виявляти один одного через приватні або загальнодоступні IP-адреси.

До речі, rsync та Unison не є правильним інструментом, якщо їм доводиться дуже часто поширювати зміни в кеш. У цьому випадку слід розглянути деяку дійсно розподілену файлову систему.

— Марко Сольєрі
джерело

0

Можливо DRBD (розподілений блок пристрою)?

— MSpike
джерело

1

Дякуємо за вашу відповідь, але їй бракує суті. DRBD не настільки відомий, що для нього не потрібно принаймні посилання. Але дійсно, вам слід надати більше інформації: чому підходить DRBD? Як би це працювало? Тим більше, враховуючи, що Кевін подумав, що Глустер переборщить: чому DRBD не буде?

— Жил 'ТАК - перестань бути злим'

Я щойно зрозумів, що ви шукаєте автоматичне виявлення однолітків, тому цей не підходить для вас. DRBD - це блоковий пристрій на вашому реальному апаратному забезпеченні або на вершині деякого обсягу, і чим він синхронізує їх по мережі.

— MSpike