Чому водяне охолодження в центрі даних не поширене?

З того, що я читаю і чую про центри обробки даних, не так вже й багато серверних кімнат, які використовують водяне охолодження, і жоден з найбільших центрів обробки даних не використовує водяне охолодження (виправте мене, якщо я помиляюся). Крім того, придбати звичайні компоненти ПК за допомогою водяного охолодження порівняно просто, тоді як стійкі сервери з водяним охолодженням майже відсутні.

З іншого боку, використовувати воду можливо (ІМО):

1. Зменшіть споживання електроенергії у великих центрах обробки даних, особливо якщо можливо створити споруди з прямим охолодженням (тобто об'єкт розташований біля річки чи моря).

2. Зменшіть рівень шуму, роблячи людину менш болісною працювати в центрах обробки даних.

3. Скоротіть необхідний простір для серверів:

   • На рівні сервера я гадаю, що і в стійкових, і в лопатевих серверах простіше пропускати водяні труби для охолодження води, ніж витрачати простір, щоб повітря пропускало всередину,
   • На рівні центрів обробки даних, якщо все-таки потрібно зберігати алеї між серверами для доступу до сервісу для обслуговування, порожній простір під підлогою та на рівні стелі, що використовується для повітря, може бути видалений.

То чому системи водяного охолодження не мають широкого розповсюдження ні на рівні центрів обробки даних, ні на рівні серверів стійок / лопаток?

Це тому, що:

• Водяне охолодження навряд чи зайве на рівні сервера?

• Пряма вартість води з водяним охолодженням зависока порівняно зі звичайним центром обробки даних?

• Важко підтримувати таку систему (регулярне очищення системи водяного охолодження, яка використовує воду з річки, звичайно, набагато складніше і дорогіше, ніж просто пилосос вентиляторів)?

Вода + електрика = катастрофа

Водяне охолодження дозволяє отримати більшу щільність потужності, ніж повітряне охолодження; тож з’ясуйте економію додаткової щільності (швидше за все, жодної, якщо ви не обмежені простором). Потім обчисліть вартість ризику водної катастрофи (скажімо, 1% * вартість вашого об'єкта). Тоді зробіть просте порівняння за винагороду за ризик і подивіться, чи має сенс для вашого оточення.

Тож я розберу свою відповідь на загальні частини:

• Фізичні властивості води проти повітря та мінеральної олії
• Ризики використання води та поганий досвід історії
• Загальна вартість охолодження центру обробки даних
• Слабкі сторони класичних рідких систем охолодження

Фізичні властивості води порівняно з іншими

Спочатку кілька простих правил:

• Рідина може транспортувати більше тепла, ніж гази
• Випаровування рідкого екстракту більше тепла (використовується в холодильнику)
• Вода має найкращі охолоджуючі властивості всіх рідин.
• Рухома рідина витягує тепловий спосіб краще, ніж рідина, що не рухається
• Турбулентний потік потребує переміщення більше енергії, але краще витягує тепло, ніж ламінарний.

Якщо ви порівнюєте воду та мінеральне масло з повітрям (за однаковий об'єм)

• мінеральне масло приблизно в 1500 разів краще, ніж повітря

• вода в 3500 разів краще, ніж повітря

• олія є поганим провідником електроенергії в будь-яких умовах і використовується для охолодження трансформаторів високої потужності.

• масло залежно від його точного типу є розчинником і здатне розчиняти пластик
• вода - хороший провідник електроенергії, якщо вона не чиста (містить мінерали ...), інакше ні
• вода - хороший електроліт. Так метали, що контактують з водою, можуть бути розчинені за певних умов.

Тепер кілька коментарів щодо того, що я говорив вище: Порівняння проводяться при атмосферному тиску. У цьому випадку вода кипить при 100 ° С, що вище максимальної температури для процесорів. Тому при охолодженні водою вода залишається рідкою. Охолодження органічними сполуками, такими як мінеральне масло або фреон (те, що використовується в холодильнику), - класичний метод охолодження для певного застосування (електростанції, військові транспортні засоби ...), але довготривале використання олії в прямому контакті з пластиком ніколи не робилося у сфері ІТ. Тож його вплив на надійність серверних деталей невідомий (Green Evolution не говорить ні слова про це). Зробити рідкий хід важливо. Покладатися на природний рух всередині нерухливої ​​рідини для відведення тепла неефективно, а правильно направляти рідину без труби складно. З цих причин

Технічні питання

Зробити повітряне переміщення досить просто, а витоки не загрожують безпеці (для ефективності). Це вимагає багато місця та споживає енергію (15% споживання на робочому столі припадає на шанувальників)

Зробити рідкий хід - клопітно. Вам потрібні труби, охолоджуючі блоки (холодні плити), прикріплені до кожного компонента, який потрібно охолодити, резервуар, насос і, можливо, фільтр. Більше того, обслуговування такої системи складно, оскільки потрібно видалити рідину. Але для цього потрібно менше місця і потрібно менше енергії.

Ще одним важливим моментом є те, що багато досліджень та стандартизації було зменшено, як створити материнські плати, настільні ПК та сервери на основі повітряної системи з вентиляторами охолодження. І отримані конструкції не є адекватними для рідких систем. Більше інформації на formfactors.org

Ризики

• Системи водяного охолодження можуть протікати, якщо ваша конструкція погано виконана. Теплові труби - хороший приклад системи на рідкій основі, яка не має витоку ( див. Тут для отримання додаткової інформації )
• Звичайні системи водяного охолодження охолоджують тільки гарячий компонент і, таким чином, все ще потребують потоку повітря для іншого компонента. Отже, у вас є дві системи охолодження замість однієї, і ви погіршуєте роботу системи повітряного охолодження.
• При стандартних конструкціях витік води має величезний ризик завдати великої шкоди, якщо вона ввійде в контакт з металевими деталями.

Зауваження

• Чиста вода - поганий провідник електрики
• Майже кожна частина електронних компонентів покрита непровідним покриттям. Тільки пайок для пайки немає. Тож кілька крапель води можуть бути нешкідливими
• Водні ризики можна зменшити за допомогою існуючих технічних рішень

Охолоджуване повітря знижує його здатність містити воду (вологість), і тому існує ризик конденсації (погано для електроніки). Тому коли ви охолоджуєте повітря, вам потрібно видалити воду. Для цього потрібна енергія. Нормальний рівень вологості для людини становить близько 70% вологості. Тому, можливо, вам потрібно після охолодження поставити воду в повітря для людей.

Загальна вартість центру обробки даних

Розглядаючи охолодження в центрі обробки даних, ви повинні враховувати кожну його частину:

• Кондиціонування повітря (фільтрування, видалення зайвої вологості, переміщення його навколо ...)
• Прохолодне і гаряче повітря ніколи не повинні змішуватися, інакше ви знижуєте свою ефективність і є ризик виникнення гарячого місця (точки, які недостатньо охолоджені)
• Вам потрібна система для витягування тепла в надлишку або вам доведеться обмежити щільність виробництва тепла (менше серверів на стійку)
• Можливо, у вас вже є труби для відведення тепла з приміщення (для транспортування його до даху)

Вартість центру обробки даних залежить від його щільності (кількості серверів на квадратний метр) та його енергоспоживання. (деякі інші фактори також враховуються, але не для цього обговорення) Загальна поверхня центру обробки даних поділяється на поверхню, яку використовує сам сервер, система охолодження, комунальні послуги (електрика ...) та сервісні приміщення. Якщо у вас більше сервера на стійку, вам потрібно більше охолодження і так більше місця для охолодження. Це обмежує фактичну щільність вашого центру обробки даних.

Звички

Центр обробки даних - це щось дуже складне, що вимагає великої надійності. Статистика причин простоїв у центрі обробки даних говорить про те, що 80% простоїв викликані помилками людини.

Для досягнення найкращого рівня надійності потрібно безліч процедур та заходів безпеки. Так історично в центрах обробки даних всі процедури розроблені для систем повітряного охолодження, і вода обмежена для її найбезпечнішого використання, якщо не заборонена в центрах обробки даних. По суті, неможливо, щоб вода коли-небудь контактувала із серверами.

Досі жодна компанія не змогла прийти з досить хорошим рішенням для водяного охолодження, щоб змінити суть фактів.

Підсумок

• Технічно вода краще
• Дизайн сервера та конструкції центрів обробки даних не адаптовані до водяного охолодження
• Поточні процедури технічного обслуговування та безпеки забороняють використання водяного охолодження всередині серверів
• Жоден комерційний продукт не є достатньо хорошим, щоб його можна було використовувати в центрах обробки даних

У той час як у нас є кілька стелажів з водяним охолодженням (HP насправді, не знаю, чи все-таки вони їх роблять) пряме водяне охолодження в цей час є маленькою старої школою. Більшість нових великих центрів обробки даних будуються за допомогою всмоктувальних тунелів, в які ви просуваєте свою стійку, а потім витягує навколишнє повітря і виштовхує або захоплює для повторного використання зібране тепло, переходячи через обладнання. Це означає, що взагалі немає охолодження та економить величезну кількість енергії, складності та технічного обслуговування, хоча це обмежує системи у використанні дуже конкретних стелажів / розмірів і вимагає «запасного» місця для стійок спереду.

Вода є універсальним розчинником. Давши достатньо часу, він поїсть через ВСЕ.

Водяне охолодження також додасть значного (і дорогого) рівня складності центру обробки даних, на який ви натякаєте у своїй посаді.

Системи гасіння пожежі в більшості центрів обробки даних не містять води з кількох, дуже специфічних причин, пошкодження води можуть бути більшими, ніж ушкодження від пожежі у багатьох випадках, і тому, що дата-центри мають завдання тривалості роботи (із резервними генераторами для живлення тощо). , це означає, що досить важко відключити владу на щось (на випадок пожежі), щоб бризкати на неї водою.

Тож чи можете ви уявити, чи є у вашому центрі обробки даних якийсь тип складної системи водяного охолодження, яка здає привид у випадку пожежі ?? Yikes.

Я думаю, що коротка відповідь полягає в тому, що це додає значних складностей. Це не стільки питання простору.

Якщо у вас є велика кількість води, з якою ви маєте справу (трубопроводи, стік тощо), ви додаєте велику небезпеку ... вода та електрика не змішуються добре (або вони занадто добре змішуються, залежно від того, як ви дивитесь на це).

Інша проблема води - це вологість. У великих масштабах, це збирається кинути всі ваші системи кондиціонування для петлі. Потім відбувається накопичення мінеральних речовин від випаровування, і без сумніву, багато інших речей, про які я тут не думав.

воду НЕ слід використовувати для охолодження датацентру, а мінеральне масло, яке дуже добре поєднується з електрикою. дивись http://www.datacenterkknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/

незважаючи на те, що рішення нове, технологія досить стара, однак зробити такий тип змін у існуючі центри обробки даних стає дуже важко, оскільки вам потрібно замінити існуючі стійки на нові типи стелажів ...

Великою перешкодою для використання води в центрах обробки даних є той факт, що більшість систем водяного охолодження є примітивними. Всі вони потребують швидких підключень для підключення сервера до джерела води в стійці, і вони є джерелом несправностей, тим більше, що у вас може бути тисячі їх в постійному струмі. Вони також роблять сервери складнішими в обслуговуванні, і в більшості випадків вам все одно потрібні вентилятори. Так ви додаєте складності.

З людського боку, більшість керівників закладів протистоять змінам. Вони дуже кваліфіковані з охолодженням повітря, а перехід на рідину зробить ці навички застарілими. Крім того, кожне обладнання OEM буде протистояти змінам, оскільки це буде означати повторну лінійку продуктів.

Зміни відбуватимуться лише з: а) кращого дизайну рідкого охолодження та б) законодавства для примушення змін

Вони це роблять, але вам потрібні спеціально розроблені компоненти, OVH (одна з найбільших у світі центрів обробки даних) використовують водяне охолодження вже більше 10 років.

Перегляньте це посилання, де ви можете побачити їх стелажі: http://www.youtube.com/watch?v=wrrZxmfevoE

Основна проблема класичних компаній полягає в тому, що для використання такої технології потрібно виконати деякі дослідження та розробки.

Даткові центри з водяним охолодженням є дуже ефективними та дозволяють заощадити енергію за умови очищення води. однак небезпеки більше, якщо вони перебувають у тісному контакті. 1) рівень вологості / вологості повітря
2) вода серед електричної енергії.

Вода може насправді не найкраща рідина для вживання. Як вказувалося, воно з часом розчинятиме все / будь-що. Безумовно, вода добре застосовується в охолоджувальних програмах, але все це не найкраще. Однак мінеральне масло також може грати, це також не найкращий варіант вибору.

Існують спеціальні масла для передачі тепла, які не є корозійними - на відміну від води - і спеціально розроблені для використання в якості рідини для передачі тепла. Паратерм вже створює велику різноманітність.

Проблемою було б підключення матеріалів до теплообмінника із замкнутим циклом, і ми говоримо про велику кількість.

Рішення вже зроблено, але не використовується в електронних середовищах і походить від сільськогосподарської техніки. Щоб назвати це, гідравліка. Швидкі фіксатори шлангів є герметичними, якщо з будь-якої причини вони від'єднані, вони також закривають їх як чоловічого, так і жіночого кінця. в самому гіршому випадку при відключенні буде не більше 1-2 маленьких крапельок.

Тож ми можемо усунути цю частину. Проектування належних мідних деталей, які підходять під кожен мікросхем / схему, яку потрібно охолодити, є складним завданням. Як і у випадку з рідким охолодженням, кожну частину, яка потребує позбавлення від зайвого тепла, потрібно накрити. Потрібен був би відносно високий насос тиску, датчики тиску та редуктори, щоб переконатися, що в кожній стійці циркулює належна кількість рідини та запобігти виходу з ладу. Також знадобляться електронні запірні клапани. Це нічого не нового, оскільки ці частини вже зроблені, навіть якщо для різних намірів в першу чергу. Багато маленьких вентиляторів мають перевагу надмірності, тому бажано використовувати кілька насосних агрегатів, щоб запобігти шансу виходу з ладу однієї точки.

Крім того, якщо це справжній цикл із замкнутим циклом, то переміщення теплоносія з низькою в'язкістю, а не величезна кількість повітря, природно окупиться.

Насправді це було б декілька способів зробити це. Перш за все, витрати на кондиціонування та витрати вентилятора будуть зменшені. Ніколи не варто недооцінювати ці витрати. Навіть невеликий вентилятор може зайняти кілька ваттів потужності, і вентилятори через деякий час виходять з ладу. Гідравлічний насос може працювати - враховуючи низький тиск, що бере участь у цій програмі - буквально протягом років 24/7, замінюючи величезну кількість вентиляторів. Згодом, мікросхеми сервера здатні протистояти зловживанням і можуть працювати при дуже високих температурах порівняно з настільними матеріалами. Незважаючи на це, зберігайте їх прохолоднішими, і очікуваний термін їх життя буде довшим, що ніколи не можна недооцінювати, враховуючи ціну цих речей. Фільтрація повітря для запобігання пилу та вологи більше не потрібна.

Ці чинники значно переважають недоліки цього виду технологій охолодження. Однак початкові інвестиції вищі. Безумовно, рішення може забезпечити налаштування сервера більш високої щільності, але на даний момент інвестиції просто не враховуються центрами обробки даних. Перебудова існуючого рішення для охолодження потребувала б часу, а час - гроші. Обслуговування також буде дуже простим, оскільки об'ємні радіатори просто не знадобляться, а також не будуть шанувальниками. Зменшення кількості потенційних точок відмови (кожен вентилятор є одним з них) - це щось, що слід пам’ятати, також надлишкові насоси можуть спрацьовувати без будь-якої взаємодії з операторами. Також вентилятори теж нагріваються. Розглянемо блок з 20 вентиляторами всередині кожного, що дає не більше 5 Вт. Кінцевим результатом було б ще 100 ватт тепла, щоб якось позбутися. Насоси та приводні двигуни також нагрівали б, але не всередині стійки. Досить відокремлений і ізольований від цільової системи. У випадку короткого замикання, скажімо, шорти з діючими елементами живлення, такий рідкий охолодження може насправді переміщувати достатню кількість тепла і, отже, зменшити ймовірність поширення вогню. Переміщення свіжого повітря біля багаття - не найкраща ідея. Також пластичні деталі плавляться і пластмасові деталі легкозаймисті. Теплопередавальна рідина буде радісно працювати при температурі, коли вентилятори тануть, потенційно даючи можливість для іншого джерела короткого замикання. Також пластичні деталі плавляться і пластикові деталі горять. Теплопередавальна рідина буде радісно працювати при температурі, коли вентилятори тануть, потенційно даючи можливість для іншого джерела короткого замикання. Також пластичні деталі плавляться і пластикові деталі горять. Теплопередавальна рідина буде радісно працювати при температурі, коли вентилятори тануть, потенційно даючи можливість для іншого джерела короткого замикання.

Тож чи було б рідке охолодження небезпечним? Я думаю, що з точки зору безпеки купи маленьких вентиляторів набагато небезпечніші. З точки зору життя, на мою думку, набагато кращим є рідке охолодження. Єдиними недоліками є навчання персоналу та початкові інвестиції. Крім того, це набагато більш життєздатне рішення, яке добре окупається навіть у середньому періоді.

Він працює просто чудово, але його дороге і забирає багато часу для установки тисяч машин і займає багато місця. Плюс його не потрібно. Ігрові установки мають шлях до багато упакованого способу зблизитися. Все, що має пристойну вентиляцію, буде добре, якщо приємний повітряний потік 70f навіть працює на 100%, що вони майже ніколи не роблять.