Як побудувати швидку локальну мережу

Я працюю у виробництві фільмів і мені ДУЖЕ швидкий доступ до дуже великих сирих файлів кадрів. Зараз я використовую дошки eSATA 6Gbps для внутрішніх жорстких дисків, які працюють так само швидко, як і диск.

Якби я використовував сервер і підключався до своїх робочих станцій через мережу, яка (відносно доступна) технологія дозволить мені дістатися десь поблизу або перевищити швидкість приводу?

Тут на початку 2017 року, судячи з інформації, легко доступної в Інтернеті, схоже, що найшвидші HDD-диски SATA мають максимум близько 220 мегабайт / сек, що становить 1,760 гігабіт / сек.

Отже, якщо ви просто намагаєтеся перемогти швидкість одного диска, і ви обмежені жорсткими дисками з огляду на ціну на терабайт для величезних відеофайлів, то 10 гігабітних Ethernet - це багато.

Зауважте, що Thunderbolt Networking також становить 10 гігабіт / с, тому якщо у вас вже є порти Thunderbolt, ви можете експериментувати з цим. Можливо, це може перемогти ваші порти 6 gigabit eSATA 3, хоча я не впевнений у цьому, оскільки eSATA дуже специфічний для зберігання даних, тоді як зберігання через Ethernet має більше витрат. Також зауважте, що Thunderbolt - це настільна шина; він досягає лише декількох метрів, а не 100 м, з якими може працювати 10-гігабітний Ethernet. Тому, хоча Thunderbolt може бути цікавим для експериментів та складання прототипів, коли ви зважуєте свої параметри, це, мабуть, не правильне довгострокове рішення для вас, якщо ви не хочете тримати всі робочі станції та диски підключеними спиною до спини навколо великого столу.

Так було для одиночних жорстких дисків. Але якщо ви RAID ці диски разом, так що кожне читання або запис поширюється по декількох дисках, ви можете отримати набагато кращі показники, ніж продуктивність одного диска. Крім того, залежно від вашого бюджету, ви можете помістити PCIe / M.2 NVME SSD в ПК для роботи в якості сервера / NAS, і ви зможете отримати швидку швидку продуктивність пам’яті (близько 3,4 гігабайта / сек == 27 гігабіт / с) на привід.

У такому випадку ви можете поглянути на щось швидше, ніж 10 гігабітний Ethernet, але, оглядаючись в Інтернеті, схоже, що ціни досить різко підскочать за межі 10 гігабітних Ethernet. Таким чином, ви можете поглянути на те, як робити агрегацію посилань через декілька посилань на 10 Гбігабіт. Також я бачив деякі анекдоти в Інтернеті, які використовували мережеве обладнання, наприклад, використані речі InfiniBand 40 Гбіт / с, можна придбати на eBay для забруднення дешево, якщо ви не заперечуєте проти клопотів, які виникають із покупкою вживаних передач на eBay.

Якщо ви дотримуєтесь SATA-дисків, реалізація Ethernet 10Gb та побудова RAID10 на сервері розумного розміру призведе до того, що ви помітно збільшите продуктивність, ніж на одному SATA-диску. Це буде гідною інвестицією, оскільки ви можете поділитися сервером на стільки робочих станцій, скільки вам потрібно, і в майбутньому додавати комутатори. Вам потрібно буде запустити кабель Ethernet Cat-6, оскільки Cat-5E не переріже його - не забудьте додати ці витрати до своїх розрахунків. Ви також можете додати SSD-диски як кеш, щоб ще більше прискорити роботу системи; оскільки ви працюєте з відеоматеріалами, я припускаю, що вам потрібна велика кількість місця для зберігання, що було б надзвичайно дорого для побудови виключно з SSD.

Ви можете придбати заздалегідь виготовлений сервер для стійки у Dell або HP і скористатися апаратною RAID-карткою, або якщо ви більше апаратний, ви можете придбати дешевше шасі від Supermicro і самостійно побудувати машину зберігання, використовуючи програмне забезпечення RAID в або Windows, або Linux. Апаратний RAID часто швидше, коли задіяний RAID1, оскільки програмне забезпечення повинно записувати на кожен диск по черзі і чекати завершення запису, перш ніж перейти до наступної операції; Картка RAID може, як правило, паралельно записувати на обидва диски і кешувати операцію запису, негайно повертаючи керування в ОС. Однак зауважте, що хоча RAID0 був би ще швидшим, у вас немає надмірності, і одна помилка накопичувача призведе до повної втрати даних; ніколи не використовуйте RAID0, коли у вас є дані, які ви хочете зберегти.

На кінці шкали ви маєте мережі зберігання даних (SAN), але вони розроблені так, щоб паралельно дозволяти багато операцій з величезною кількістю окремих клієнтів; Перевага цього полягає в тому, що пропускна здатність дуже мала для невеликої кількості підключених машин, але, швидше за все, надмірна кількість для ваших потреб, і дуже дорога. У нижньому кінці у вас є пристрої мережевого приєднаного сховища (NAS), про які згадували інші, але, хоча вони набагато простіші за повний сервер, я не рекомендую їх, оскільки NAS часто є чорною скринькою; вони розроблені для того, щоб підключатись і грати для більшості користувачів, і, як результат, ви мало контролюєте ОС - мені просто довелося відправити назад невеликий NAS, який я придбав для офісу клієнта, оскільки він став нестабільним після використання дня.

Ще одна перевага для створення сервера полягає в тому, що ви концентруєте всі свої кадри в одному місці, що робить його практичним і порівняно легко регулярно створювати резервні копії. Ніколи не нехтуйте стратегією резервного копіювання; одного дня вам потрібно буде залежати від цього!

Ніщо не перемагає 10 гбіт гнучкості та простоти конфігурації, але SAS напрочуд спрацьовує все самостійно:

Для невеликої кількості робочих станцій (n <8), де обсяги не потрібно записувати з декількох комп'ютерів одночасно, SAS чудово працює. За допомогою Tyan JBOD (1500 доларів) та LSI HBA (400 доларів) ми отримуємо тривалі передачі на SSD 3400 Мбіт / с (27 Gbps). JBOD має внутрішній перемикач з 3 посиланнями до HBA, але SAS-комутатори доступні для більш високої кількості портів.

Ось тест на швидкість одного з наших томів:

Внутрішньо ми використовуємо це рішення з кластерним Windows Server, на якому розміщені простори пам’яті , які розповсюджуються на клієнтів з 10 Гб.

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Продукт

По-перше, M.2 SSD, який дав правильну материнську плату, може досягати 2 ГБ-4 ГБ / с, а можливо і вище. РАЙДУЙТЕ декілька з них разом, і ваша швидкість ще вище.

Об'єднання декількох 10gb NIC може наблизити до нашої швидкості.

Що-небудь більше 10 г - це набагато більше грошей.

40-гігабітний NIC https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZrJKf0kXFy96p07_0A007_0k07_0k07_0x07_0k07_0k07_0k07_0k07_0k07_0k07_0x07_0k07) -0x07_0k07k07_0k07_0k07_0k07_0k07)

Використовуйте волоконно-мережеву карту з волоконним перемикачем, в ідеалі багатомодовий або одномодовий з накладками. Якщо у вас є бюджет, ви можете зробити все це 10gbps, якщо ви використовуєте агрегацію посилань з подвійною волоконною карткою порту, ви можете отримати 20gbps. Оскільки термін "відносно доступний" змінюється залежно від вашого бюджету, корисні будуть фактичні цифри щодо того, що ви готові витратити.

Найдешевшим способом було б використання агрегації ланок (IE, що працює з N кабелів, як правило, 2) замість одного.

Таким чином, брудний дешевий 1Gb посилання стане 2Gb посиланням.

Очевидно, це означає, що вам потрібно щонайменше 4 порти для одного клієнтського сервера.