Щось палає в серверній кімнаті; як я можу швидко визначити, що це таке?

Днями ми помічаємо страшний палючий запах, що виходить із серверної кімнати. Якщо коротко розповісти, він виявився одним із модулів акумулятора, який згорів у блоці ДБЖ, але пройшло багато годин, перш ніж ми змогли це зрозуміти. Основна причина, яку нам вдалося зрозуміти, це те, що на дисплеї ДБЖ нарешті було показано, що модуль потрібно замінити.

Тут виникла проблема: вся кімната наповнилася запахом. Зробити тест на нюх було дуже складно, тому що запах проник у все (не кажучи вже про це, ми змусили нас головою). Ми майже помилково зняли наш сервер виробничої бази даних, бо саме там запах був найсильнішим. Життя виявилося нормальним (темпи процесора показали 60 градусів С, а швидкість вентилятора нормально), але ми не були впевнені. Так вийшло, що згорілий модуль акумулятора був приблизно такої ж висоти, що і сервер на стійці, і лише 3 фути. Якби це було справжньою надзвичайною ситуацією, ми б невдало провалилися.

Реально, шанси на те, що фактичне обладнання для сервера згоряє, є досить рідкісним явищем, і більшу частину часу ми будемо шукати винуватця UPS. Але з кількома стелажами з кількома одиницями обладнання, це може швидко стати грою на здогадки. Як можна швидко і точно визначити, який предмет фактично згоряє? Я усвідомлюю, що це питання сильно залежить від змінних умов середовища, таких як розміри приміщення, вентиляція, місце розташування тощо, але будь-який внесок буде вдячний.

Загальним є думка, що відповідь на ваше запитання складається з двох частин:

Як ми можемо знайти джерело кумедного запаху?

Ви дуже добре прибили "Як":

• "Тест на снайф"
• Шукайте видимий дим / серпанок
• Пройдіться по кімнаті тепловою (ІЧ-камерою), щоб знайти гарячі місця
• Перевірте сповіщення та панелі пристроїв на наявність сигналів

Ви можете покращити свої шанси швидко знайти проблему кількома способами - покращений моніторинг часто найпростіший. Деякі запитання:

• Чи отримуєте ви температуру та інші сповіщення про здоров'я від свого обладнання?
• Чи повідомляють ваші системи ДБЖ про несправності у вашій системі моніторингу?
• Чи отримуєте ви тривожні сигнали тривоги від вашого розподільчого обладнання?
• Чи повідомляються кімнатні детектори диму до системи моніторингу? (а вони можуть? )

Коли нам слід усунути неполадки порівняно з натисканням на великий червоний перемикач?

Це цікавіше питання.
Натискання великого червоного перемикача може поспішати вашій компанії величезних грошей: поспішні випуски агентів можуть становити десятки тисяч доларів, а витрати на відключення / відновлення після аварійного відключення електроенергії (EPO, "скидання приміщення") ) може бути руйнівним.
Ви не хочете скидати датацентр, тому що конденсатор в джерелі живлення сплив і викликав запах приміщення.

І навпаки, пожежа в серверній кімнаті може коштувати вашій компанії її даних / обладнання, а ще важливіше життя вашого персоналу.
Усунення несправностей "того смішного запаху горіння" ніколи не повинно мати перевагу над безпекою , тому важливо мати чіткі правила щодо усунення неполадок "до вогню".

Наступні вказівки - це мої особисті обмеження, які я застосовую за відсутності (або на додаток до) будь-якої іншої чітко визначеної процедури / правил - вони мені добре служили, і вони можуть вам допомогти, але вони так само легко можуть мене вбити або звільнено завтра, тому застосовуйте їх на свій страх і ризик.

1. Якщо ви бачите дим чи вогонь, киньте приміщення.
   Це повинно бути зрозуміло, але скажемо все одно: якщо є активна пожежа (або дим, що свідчить про те, що скоро буде), ви евакуюєте приміщення, відключіть живлення та розрядіть вогонь система придушення.
   Можуть існувати винятки (проявляти деякий здоровий глузд), але це майже завжди правильна дія.

2. Якщо ви переходите до усунення несправностей, завжди залучайте хоча б ще одну особу.
   Це з двох причин. По-перше, вам не хочеться блукати в центрі обробки даних, і раптом у вас стоїть стійка в тому ряду, по якому ви йдете вниз, і ніхто не знає, що ви там. По-друге, інша людина - це ваша перевірка здорового розгляду проблем щодо усунення несправностей проти виходу з кімнати, і якщо вам потрібно зателефонувати, щоб перейти на великий червоний вимикач, ви маєте перевагу, щоб друга людина погодилася з рішенням (допомагає уникнути аспектів, що обмежують кар'єру такого рішення, якщо хтось пізніше його поставить під сумнів).

3. Виконуйте обережні заходи безпеки під час усунення несправностей
   Переконайтеся, що у вас завжди є шлях втечі (відкритий кінець ряду та чіткий шлях до виходу).
   Тримайте когось, де перебуває в приміщенні EPO / пожежогасіння.
   Несіть із собою вогнегасник (Халон чи інше чисте засіб, будь ласка).
   Запам’ятайте правило №1 вище.
   Коли ви сумніваєтесь, залиште приміщення . Подбайте про своє дихання: використовуйте респіратор або кисневу маску. Це може зберегти ваше здоров'я у разі хімічного пожежі.

4. Встановіть ліміт і дотримуйтесь його
   Точніше, встановіть два межі:

   • Умова («Наскільки гірше я дозволю це отримати?») Та
   • Час ("Як довго я намагатимусь знайти проблему до її надто ризикової?").

   Обмеження, задані також можуть бути використані , щоб ваша команда почати процедуру завершення роботи ураженої області, тому , коли ви DO тягнути влада ви не збій купи активних машин, і ваш час відновлення буде набагато коротше, але пам'ятайте , що якщо впорядковане вимкнення триватиме занадто довго, можливо, вам доведеться дозволити аварії декількох систем в ім’я безпеки.

5. Довіряйте своїй кишці
   Якщо ви в будь-який час турбуєтесь про безпеку, зателефонуйте з усунення несправностей та очистіть приміщення.
   Ви можете або не можете кинути кімнату, виходячи з відчуття кишки, але перегрупуватися поза кімнатою в (відносній) безпеці доцільно.

Якщо немає небезпечної небезпеки, ви можете обрати в місцеву пожежну частину перед тим, як вживати будь-які різкі дії, такі як EPO або випуск чистих агентів. (Вони можуть сказати вам зробити це так чи інакше. Їх мандат - захист людей, а потім майно, але вони, очевидно, експерти в справах пожеж, тому ви повинні робити те, що вони кажуть!)

Ми вирішили це в коментарях, але це може бути також узагальнено у відповіді - @DeerHunter, @Chris, @Sirex та багато інших сприяли обговоренню

Камера теплового візуалізації може зробити цю роботу, і ви зможете визначити, де перегрів. Такий пристрій дозволить вам визначити також походження пожежі чи горіння у приміщенні, що заповнює дим.

Ви нічого не робите з того, що було сказано. Ви залишаєте небезпечне середовище, тому що все, що прокачується через всю кімнату, небезпечне для вашого здоров'я і може справді зіпсувати ваші легені. Якщо в приміщенні є гострий запах чогось палаючого, чого ви не можете знайти, зателефонуйте (911 | 112 | 999 | будь-який номер екстреної допомоги, який відповідає вашій юрисдикції) і дайте пожежі (компанія | відділ | бригада) розібратися в цьому, поки вони на пляшковому повітрі.

Комп'ютерні деталі містять у корпусах всілякі цікаві хімічні речовини, включаючи ртуть , кадмій , свинець та багато пластику. Зауважте, що всі посилання, які я зробив, пояснюють, як експозиція низького рівня може спричинити тривалі збитки або навіть швидку смерть. Це середовище, яке може бути негайно небезпечним для життя та здоров’я .

... тож справді, якщо щось горить, не витрачайте години на нюхання парів. Якщо ви не можете ідентифікувати його і негайно діяти, щоб його містити, вийдіть.

Якщо ви мали належний моніторинг на ДБЖ (як правило, за допомогою SNMP), сам пристрій повинен був задзвонити дзвіночки на вашій системі моніторингу. Якщо цього не сталося, поговоріть про це з продавцем. Він або не працює, або система моніторингу неправильно налаштована.

Якщо щось активне насправді горить, слід якось скаржитися на це або просто бути відключеним від мережі, що також повинно викликати тривогу.

Якщо це щось на зразок фактичної силової шини, що горить через ізоляцію, і вона не знаходиться на розумному PDU, тоді ми повернемося до вашого оригінального запитання, яке є "як я можу знайти річ, що горить?" І я думаю, що відповідна відповідь - "Потрапте на ЕПВ і зрозумійте це. Ваші виробничі сервери, мабуть, недостатньо важливі, щоб ризикувати життям".

Це одна з тих ситуацій, коли

не застосовується, вам слід зателефонувати професіоналу

Все інше просто нерозумно.

Як хтось, чия колишня кар’єра була електронною технікою, я маю досвід "запальних палень", які не були пожежами. Це не рідкість.

Я б не закрив центр обробки даних про запах. Дим - інша справа, щось справді палає (як правило, але танталовий конденсатор розміром з горошину також може заповнити приміщення димом). Дивно, скільки запах смаженого компонента в блоці живлення може справити.

Термометр TIC або ІЧ (корисний інструмент і набагато дешевший, ніж TIC) не обов'язково показуватиме його, оскільки компонент взагалі не виробляє багато тепла, і він знаходиться всередині корпусу. Але перевірте, чи не працюють пристрої, використовуйте засоби моніторингу. Для такого запаху, то 95% часу це буде джерело живлення, що впливає на продуктивність всього пристрою.

Мені подобаються відповіді на ІЧ-зображення або термометр, але можливо, що також допоможе, це справжній "детектор запаху". Адже те, що викликало вашу обережність, був запах. Дим, тепло, ІЧ тощо - це сурогати.

Що - щось на зразок цього: . Я особисто ніколи їх не використовував і навіть не бачив, щоб вони використовувались у центрі обробки даних. Але принаймні теоретично це повинен бути акуратний інструмент. Якщо у вас є гроші, щоб витратити на цю штучку, яка є.

http://www.sca-shinyei.com/odormeter або http://www.intopsys.com/products/cyranose.html?gclid=CNXXzOrLs7YCFUws6wodViYApQ

Це дає вам запах запаху, а також класифікацію. Таким чином, орієнтування на запах повинно бути можливим. Чорт у деталях, звичайно. Наскільки він чутливий, маскуючи хибний запах фону тощо.

Однією з переваг перед чисто вимірюваними температурами є те, що часто неприємний запах виникає в набагато більш ранній точці або порозі. Або якщо перегрітий компонент прихований тілом / прихованою проводкою і т. Д., То легше виявити втечу молекул, ніж гарячу точку прямолінійного огляду.

Інша ситуація - неприємний запах. Раніше у нас витік контур охолодження, і запахи теплоносія теж були своєрідними. Я навіть не буду вникати в давньоруський випадок мертвого гризуна в протоках. :)

Я був здивований, наскільки чутливі ці датчики. Явно H2S / меркаптани тощо (звичайні винуватці) виявляються на рівні субпроміле.