Кращий sysadmin WTF?

Ви впевнені , що бачили його на власні очі (або збираються) рано чи пізно: цей жахливий проект / система / ситуація , коли - то був ТАК облажався ви просто не можу повірити , що на насправді сталося , як це було.

Безгосподарність? Неправильний бюджет? Нерозуміння? Просто дурне, просте незнання? Назвіть свою справу, вона, безумовно, сталася (і триває багато, на жаль; дивіться тут ).

Опишіть це тут, для розваги (хоча дещо цинічного вигляду) та навчання (сподіваємось).

Деякі правила:

• Це не місце для випадкових (навіть якщо абсолютно руйнівних) помилок адміністратора, тому, будь ласка, уникайте "argh, я помилково вписав rm -r" або "OMG I Just COPIED CORORUPTED BATABASE OF MY LAST BOODUP" (там було зроблено це) ; ці речі краще тут . Йдеться про те, «які саме препарати були саме під впливом того, хто розробляв / впроваджував цю систему?».
• Один WTF за повідомлення, щоб вони могли правильно коментуватись.
• Будь ласка, опублікуйте те, що ви насправді були свідками :-)
• Якщо ви це зробили, це все одно кваліфікується :-)

Я незабаром додаю матеріал, сміливо додайте свій власний; і будь ласка:

Відповідь електронною поштою від інженера підтримки Microsoft на повідомлення про проблему:

"Що стосується моєї думки щодо вашого питання, у мене є одне слово: WEIRD."

Золото!

Мені зателефонували з компанії, про яку я ніколи не чув, яка доручала запровадити поштовий сервер Exchange 2003 для клієнта і взагалі не мала поняття, як це зробити; нічого надто дивного, правда? Я працюю позаштатним консультантом, тому я прекрасно виконую роботу, яку ви не знаєте, як зробити для вас (і отримуєте за це свої гроші).

Тож я зайшов на сайт клієнта і виявив щось досить дивне: кожен сервер у мережі був контролером домену ; всі 15 або близько того.

Тоді я виявив щось ще більш дивне: ніхто з них не реплікував належним чином з будь-яким іншим, загальну поведінку Active Directory можна було охарактеризувати лише як "хаотичне", у користувачів виникали проблеми з будь-якою мережею, яку ви можете собі уявити, а Exchange просто відмовився встановлювати з невідомими- помилки людства.

Тож я подивився на конфігурацію мережі на сервері, і побачив ... він використовує загальнодоступні сервери DNS провайдера. Потім я дивлюся на інший сервер ... і це було те саме. Тоді я дивлюсь на постійного струму ... те саме. Тоді я запитав ... і це було офіційно підтверджено: кожен комп'ютер у мережі (близько 1500) використовував DNS провайдера замість належного контролера домену.

Я пояснив, що DNS є досить критичним для належної роботи Active Directory, і мені вдалося реконструювати попередню історію:

• Хтось спочатку правильно встановив домен AD, використовуючи постійний струм як сервер DNS для кожного комп’ютера.
• Він / вона / нічого не знав про переадресаторів та / або конфігурацію брандмауера, тому комп'ютери не змогли вирішити загальнодоступні імена в Інтернеті.
• Так виникла ідея використовувати DNS-сервери ISP на комп’ютерах; вони налаштували це на кожного з них.
• У них почалося багато помилок "не вдається знайти контролер домену" (хто б здогадався?).
• Вони вважали, що проблема викликана відсутністю недостатнього постійного струму, тому вони продовжували просувати кожен сервер до цієї ролі.
• Потрібно сказати, що це тільки погіршило речі, оскільки ці нові постійні токи також використовували неправильні DNS, тому вони також не змогли повторити.
• Це тривало місяцями , вони просто "звикли" до того, що мережа була абсолютно ненадійною.
• Крім цього, вони намагаються запустити налаштування Exchange, яке аварійно зазнало краху; тільки тоді вони вирішили зателефонувати до якогось зовнішнього консультанта, і поки вони абсолютно не зрозуміли, що-то було абсолютно, безумовно, неправильно в їх налаштуваннях мережі.

Колись у мене був клієнт, який був малим бізнесом (10 осіб) з електронною медичною книжкою. (Не лікар). Я одного разу зазначив, що резервні копії провалювалися. Після тестування магнітофон взагалі не працював. Я згадав про це власнику, який сказав, що він добре знає, що привід поганий, але він був занадто дорогим для заміни.

Звичайно - це не дуже WTF.

WTF - це те, що його співробітники щодня обертають стрічку, перевозячи її в сейф, і все це джаз протягом 6-9 місяців з часу її загибелі .

"Не кажіть працівникам, це може їх хвилювати"

Я працював систематичним директором у великому урядовому агентстві (одному з головних органів управління Італії) і кілька місяців керував їх центром обробки даних. Одного вечора у мене дзвонить телефон, і мій начальник каже мені, що відбувається дуже погано: повне відключення електроенергії .

Гаразд, у нас є ДБЖ, правда?

Так, але вони триватимуть недовго, тож краще піти туди і вимкнути все, поки не повернеться живлення.

Я йду туди, пробираюся темними коридорами, приїжджаю до серверної кімнати ... і мене вітає те, що можна лише описати як чисте пекло . Буквально. У кімнаті було так жарко, що можна було спекти в ньому пиріжки. Потужність ДБЖ була в порядку, але половина серверів вже відключилася від перегріву, а решта кричала від агонії.

Причина?

Сервери були на потужності ДБЖ ... кондиціонування не було .

Збій вентилятора HP ProLiant ML370 G3 ... Датчики вентиляторів на материнській платі цієї моделі, як правило, погіршуються через 5 років. Сервер не може завантажуватися, коли неправильна комбінація вентиляторів не виявлена. Мені довелося пройти замовника через прискорене запуску машини за допомогою магазину-vac (щоб вентилятори оберталися під час завантаження), і ось так вони підтримували роботу сервера, поки я не міг приїхати з новою системою.

Раніше я був консультантом з бухгалтерського програмного забезпечення для бухгалтерії Dac-Easy. Одного разу мене зателефонували в головний офіс місцевого бізнесу, і бухгалтер сказав мені, що якщо я не зможу вирішити, чому програма щомісяця повна помилок бухгалтерського обліку, їм доведеться знайти ще одну заяву та консультанта. Переглядаючи файли адміністративного журналу, я виявив, що всі записи зазвичай вносяться в ніч на п'ятницю або суботу. Потім я з'ясував, що дружина власника входила в комп'ютер облікової системи з дому за допомогою ПК Anywhere і намагалася збалансувати рахунки зі своєю чековою книжкою після кількох келихів вина. Як тільки цифри виглядали добре, вона вийшла з системи.

Я підняв комп’ютер, який отримав від офісу нашої материнської компанії, коли почув, що всередині щось щось брязкає. Коли я відкрив чохол, я знайшов його на 1/2 в повному обсязі з матовими міні-пшеницями. Я думаю, миша жила в ньому або використовувала харчовий кеш. Ймовірно, точкою входу став розрив між корпусом і роз'ємом клавіатури DIN.

Не зовсім те, про що ви просили, а певний WTF.

Ще один клієнт, ще одна історія жахів.

У головному дописі я говорив про те, що помилково перезаписали гарну копію з пошкодженою базою даних, яку мав на увазі замінити; буває :-(

Тому відновлення з резервного копіювання було потрібне. На щастя, там насправді було БЕЗПЕЧЕННЯ : це робилося щодня на центральному резервному сервері, до якого додається бібліотека Really Big; цей сервер керував резервними копіями для всієї компанії, він був дуже дорогим і на ньому було встановлено реальне програмне забезпечення резервного копіювання.

Все йде нормально. Ми шукаємо роботу з резервного копіювання, завантажуємо належну стрічку, запускаємо операцію відновлення, стрічку завантажуємо, відновлення починається ... і просто нічого не відбувається.

Спробуємо ще раз, якась річ.

Ми вивантажуємо, перезавантажуємо, перезавантажуємо, намагаємось відновити попередні резервні копії ... нічого не змінюється.

Ми припускаємо, що тривала якась тривала операція, і залишаємо її на всю ніч ... Наступного дня все ще нічого не змінюється.

Гаразд, час зателефонувати в службу підтримки реального резервного програмного забезпечення ... але цього зробити неможливо, ми в неділю. Ми намагаємося знайти сайт підтримки постачальника, але потрібен спеціальний код доступу, і лише один менеджер має його ... той самий менеджер, який буде дуже засмучений виявленням системи, все ще не працює в понеділок, коли він прийде на роботу.

Ще один день болю, і я виявляю, що помилка добре відома, і це було виправлено за допомогою патчу продавця, який (очевидно) ніхто не турбує застосовувати. Тож я йду застосовувати його ... але цього не можна зробити: керівництво не хоче ризикувати чим-небудь порушити, якщо постачальник не підтвердить, що виправлення можна безпечно застосувати; той факт, що сервер резервного копіювання не зміг відновити нічого, мабуть, не виглядав достатньо "зламаним" для них.

Лише через чотири загальні дні, різні дзвінки в службу підтримки та постачальник, що надсилає інженера підтримки на місце, ми нарешті змогли застосувати виправлення та відновити резервну копію; сервер резервного копіювання, не EVER був в змозі зробити відновлення, але ніхто ніколи не перевіряв, так що ніхто не помітив.

Емуляція терміналу для розваги та прибутку

Я працюю зі старішою системою - по суті, купою текстових терміналів, які підключаються до вікна Unix, з кількома комп'ютерами Windows, кинутими просто для ускладнення речей.

Кілька основних фактів

• Основне програмне забезпечення використовує власний розширений файлcacap. Загальносистемні терміни та терміни ігноруються.
• Основне програмне забезпечення дозволяє вибирати різні відображення на клавіатурі відповідно до змінних середовища.
• Всі текстові термінали мають програмовані клавіатури.
• Підключення ПК до ПК Windows за допомогою власного клієнтського програмного забезпечення без вбудованої підтримки від основного програмного забезпечення.
• Власне програмне забезпечення клієнта дозволяє вибирати різні відображення клавіатури під час завантаження.
• Лише половина персоналу використовує стандартний QWERTY макет.
• Щонайменше, один, можливо, більше, системних адміністраторів, які працювали над цією системою, бракує належного розуміння емуляції терміналів.

Я думаю, ти можеш побачити, куди я йду з цим.

Були напівсерйозні спроби додати належну підтримку терміналу до файлів terminfo та termcap, але вони лише частково функціональні. Власний файл termcap, який використовується первинним системним додатком, працює, але це в основному не має значення, оскільки $ TERM ніколи не встановлюється належним чином.

Увійшовши в систему, кожен користувач повинен в основному вибрати, звідки вони входять у систему та яку розкладку клавіатури вони хочуть використовувати - тут не задіяно автоматичне виявлення. Це встановить $ TERM на ANSI, незалежно від того, який термінал використовується на стороні клієнта, і встановлена ​​змінна середовище, щоб первинне програмне забезпечення перезавантажувало деякі ключі належним чином.

У випадку, коли люди використовують вбудовану розкладку клавіатури на текстових терміналах, після цього запускається сценарій, щоб перепрограмувати деякі клавіші вбудованого макета (як це фізично надруковано на самій клавіатурі), але не всі вони. На ПК під керуванням Windows завантажується клієнтська карта ключів, щоб перезавантажувати більшість функціональних клавіш до ANSI. Неможливо перезапустити їх усі, інакше деякі інші клавіші перестануть працювати.

Вхід у що-небудь інше з будь-якого з терміналів - це вправа в збої, і його можна зробити лише розумно безпосередньо на самому сервері. Оскільки все працює, важко виправдати час і зусилля, необхідні для його виправлення. Але додавання чогось більш нового, ніж 20-річні текстові термінали, з якими ми зараз застрягли, по суті потребує переписування всієї системи.

Я трохи плачу всередині кожного разу, коли це бачу.

Я знав когось, хто вирішив реорганізувати файли на своєму комп’ютері, помістивши всі .exe в одну папку.

Мережа з ~ 60 ( SIXTY ) ПК.

Охоронно-фанатичний бос.

Деякі нові комутатори з можливостями VLAN.

"План реорганізації мережі", що включає ~ 20 ( ДВАДТИЙ ) VLAN.

Завдяки якійсь невідомої верхньої сили я пішов, перш ніж все це могло почати насправді ...

Ми подарували одному з наших адміністраторів Unix вікно Windows. Це було невдовзі після того, як ми дали адміністраторам Windows-скриньки для адміністрування, намагаючись підвищити рівень знайомства в різних операційних системах. Я, як адміністратор Windows, намагаючись не накручувати свою скриньку Linux, я поставив безліч питань команди Unix. Я очікую, що це було метою навчань. Після суворої лекції про те, щоб переконатись, що я правильно розмістив усі свої томи, і не розміщував усе на одному томі чи на одній розділі, я вийшов і створив цілком адекватну коробку, яка ще два роки працює у виробництві.

Коли хлопець з Unix, який читав мені лекцію про різні обсяги і не будував речі, щоб повний диск міг розбити ОС, збудував свій вікно Windows, він поставив все на C :. Коли я сказав: "Я не можу підкріпити це будь-якою політикою, яку ми маємо, і коли ці журнали заповнюють вашу скриньку, вийдуть з ладу". Він сказав: "Ну я зрозумів, що це Windows, все на C: має сенс". Він взагалі не робив ще однієї секції. Я серйозно махнув цим. Абсолютно WTF ви думали щось таке. Мабуть, йому не спадало на думку, що деякі найкращі практики однакові незалежно від ОС.

Відповідь Массімо нагадує мені ще один WTF ...

Невеликий офіс має сервер Windows 2003 з Exchange, Symantec AV тощо. Компанія зазвичай використовує нас, щоб виконувати всі їх ІТ-роботи. У нас їх було на єдиній платформі Dell Optiplex, цей хлопець вирішив замінити 3 з них «чудовими машинами», які продавались у Best Buy.

Незалежно - їм якось вдається приєднати його до домену.

Перший дзвінок:

Ми не можемо знайти світогляд. Машина поставляється з Word (Microsoft Works), тож де все інше.

Другий дзвінок:

Як ми використовуємо мережевий антивірус?

Це wtf. Я зайшов на сайт, і 7 їх машин були налаштовані як Symantec Antivirus SERVERS замість встановлення клієнта. Мабуть, панові не сподобалось, що ми заблокували налаштування клієнта, і вирішили «перевстановити» клієнта, щоб він міг змінитися під час його сканування. Мабуть, перший компакт-диск для Symantec AV, який ми покинули, якось переконав його встановити "сервер", а не клієнт.

Клієнт зателефонував мені, щоб допомогти у створенні деяких серверів. Під час збирання мені повідомили, що це сервери заміни для двох нижчих від стійки. Я подумав, що дивно, що положення стійки є релевантним, і запитав, чому. Виявляється, серверне приміщення затоплене після того, як лопнула водопровід, що проходить через середину.

Отже, що робить водопровід посеред серверної кімнати, про яку ви запитуєте? Ну а дамська ванна - сусідня, а серверна кімната зручно поза увагою. Яке краще місце поставити основний корм для ванної?

О, це легко ...

У мене була установка системи Linux для компанії, що знаходиться на складі в сільській місцевості Кентуккі. Ця система є програмою обліку / інвентаризації для організації. Я замінював сервер SCO 1998 року епохи новим сервером CentOS 4. Як результат, я очікував найгіршого, коли справа стосувалася підключення та клієнтів. Ви знаєте, старі ПК, недобре кабельне обладнання і т. Д. Я поставляв на сайт нові комутатори, кабелі, тонкі клієнти тощо ...

Однак я НЕ очікував, що проводка "шафа" буде у ванній ! Власне, проводка розташовувалася в просторі над скинутим стелею безпосередньо над складським туалетом. Сюди входили модем DSL, 10-мегабітний HUB та 66-блок для телефонів ...

Той самий клієнт, який бере участь у справі DNS From Hell.

Їх сервер Exchange протягом багатьох років витончено працював і навіть пережив деякі збої на диску (спасибі, RAID та ще більше спасибі). Одного разу, я був покликаний знову несумісними проблеми, і вони сказали мені Мимохідь що - то були їх турбують: кілька разів , перш ніж вони виявили , всі були в змозі відкрити весь решта поштову скриньку; вони думали, що це дивно, але нічого не робили, бо не знають, як це виправити, і все одно електронна пошта працювала і (майже) ніхто цього не розкривав.

Я тут був дуже шокований: всі змогли відкрити будь-яку іншу поштову скриньку, і вони подумали, що це ТІЛЬКІ МАЛІ НУМАННЯ, і не турбували нічого робити за ТРИ МЕСЯЦІ . Будь-які звичайні люди негайно виймали мережевий шнур із сервера, але не вони.

Джерело проблеми було ... дивним: хтось встановив "Усі / повний контроль" на рівні організації Exchange в Active Directory, тому всі одразу стали повноправним адміністратором Exchange; їхня удача полягала в тому, що дуже мало людей це помітили.

На сьогоднішній день ще ніхто не знає, хто насправді це робив.

Працював програмістом на повний робочий день та неповним адміністратором для невеликої компанії, ведучи програмне забезпечення бухгалтерського обліку (читайте: оплата клієнтів та страхові претензії). Зателефонував великий клієнт про те, що їх сервер не працює; це був новий продукт під керуванням Altos Unix SysV / 386. Оскільки я був усього, що вони мали, вони відправили мене та нового галя.

Потрапив туди, і там було приміщення, повне операторів введення даних, набираючи документи WordPerfect так швидко, як тільки могли. Була прокладена дальна лінія, яка виходила із штату, коли інший набір операторів робив те саме.

У каталозі документів було близько 10 000 досконалих слів, усі вони мали однаковий формат. ВСЕ В ОДНІЙ НАПРЯМКІ. Так-і-то поранено і страждає від такого-і-такого. Здається, що цей лікар був справжнім хлопцем для адвокатів, які подавали позови про травми.

Я спробував завантажитися з дискети і отримав лише багато шумових шумів. Я витягнув дискету, і вона була повністю покрита павутинням, я тут розмовляю жменями. Це був кабінет лікаря, тому я вимагав тампонів і алкоголю (це був єдиний у нас завантажувальний диск Unix, і єдиний шанс виправити речі на цьому сервісному дзвінку), і я почав прибирати дискети, диск та сервер.

Проблеми були дві: одна - сервер був сповнений бруду з килимового офісу та його кутового приміщення (на товстому плюшевому килимовому килимі), а в офісі 80 градусів було перегріто. Файлова система потребувала серйозного FSCK'ing, і я поділив 10K файли в новий набір алфавітних підкаталогів і запропонував розбити його далі.

Лікар був ідеальною діркою, яка зірвала нам нову, коли ми зайшли у двері. Коли ми пішли, ми пояснили, що придбання у нас опції WordPerfect for UNIX не означає, що ми розмістили сервер для внутрішньоконтинентального створення документів; Крім того, йому знадобилося A / C, місце розташування сервера без килимів, UPS, зовнішній RAID та кращий протокол подання каталогів. Раптом у нього були всі вуха, оскільки так він заробляв усі свої гроші. Я передав всю інформацію у продаж, але незабаром пішов із цієї роботи з інших причин.

Мій найкращий WTF виник у мого нинішнього роботодавця, коли я вперше почав тут працювати.

Досить багато перших місяців роботи були пов'язані з постійною панікою та відвертим жахом, коли я виявив стан серверів. На моєму нинішньому рівні досвіду я, можливо, просто рекомендував підпалити місце та зібрати страховку. Але найкращою була одна політика компанії:

Не було бухгалтерського обліку для комутованих клієнтів. У провайдера, який отримав половину доходу від комутованих клієнтів. Насправді це була політика, яка проводилася протягом 6 років до мого початку, і це просто заплутало мою думку, що з цього приводу нічого не було зроблено. Стандартною лінією було "ми просто довіряємо нашим клієнтам не використовувати занадто багато". Той факт, що це місце працювало з великим бюджетом і не мав справжнього адміністратора на комутаторі протягом усього цього часу, не допомагало питанням, я не думаю.

Кінцевим результатом цієї політики, звичайно, було те, що спамери в основному керували пулом комутованого доступу. Майже щовечора вони використовуватимуть один обліковий запис для набору номера в декілька модемів, поки весь пул не заповниться, а потім вибухнуть спамом як можна швидше. Версія AAA RADIUS не допомогла питанням у тому, що не було швидкого перемикання "дозволити лише одному користувачеві одночасно". Я зламав щось разом у Perl, щоб відключити когось із двома входами до тих пір, поки сервер RADIUS не міг бути замінений, і це вирішило цю проблему десь у перший або два тижні. Частиною іншої проблеми було те, що мені не було дозволено мати достатньо часу на виправлення речей (див. Бюджет бюджету), оскільки я одночасно займався технічною підтримкою. Але частиною причини, по якій я все ще є тут, було те, що я мав вільне правління над усім цим. Я не думаю, що я мені колись справді казали не йти вперед і реалізувати якусь обгрунтовану ідею. Єдине обмеження, яке я коли-небудь мав, - це гроші.

Десять років тому я взяв інтерв'ю у компанії, чиє кабельне приміщення в основному серверному приміщенні було схоже на суп із спагетті. Мережеве обладнання було в 3 стелажі біля одного кута кімнати розміром 20 футів x 60 футів. Був каскад мережевих кабелів різного роду кольорів, що спускаються по стійках і закінчуються в пулі заплутаних кабелів шириною близько 7 футів і випливають близько 5 футів від стійок. Не було жодної документації, і ніхто не знав, куди пішов.

Компанія мала 95% частку ринку в галузі, що стосувалася безпеки життєдіяльності та власності. Все, що я можу сказати, це те, що може дати справжню паузу.

До речі, компанія все ще працює і з тих пір, очевидно, прибирала багато речей.

Не так давно був у шафі Demarc і знайшов цю солодку установку на сайті:

Встановлення елітного волоконного кабелю = TWIST TIE

alt текст http://locobox.googlepages.com/Fiber.jpg alt текст http://locobox.googlepages.com/Fiber2.jpg

Кілька років тому компанія, в якій я працював, придбала одного з наших конкурентів, і мені довелося перевірити їхні машини (Centos), щоб переконатися, що вони відповідали нашим стандартам з точки зору конфігурації (їхній системний адміністратор відмовився від можливості приєднатися до нашої компанії в прихильність відкриття власної компанії, яка розробляла рішення під ключ).

У /etc/rc.local (батьківщині всіх чудових WTF) я знайшов:

swapon /dev/sda3

і

route add -net 10.0.0.0 netmask 255.255.0.0 eth1

Примітка: eth1 був налаштований у ifcfg-eth1 з мережевою маскою 255.255.255.0

Очевидно, справжні sysadmins не використовують такі клішені конфігураційні файли, як / etc / fstab та / etc / sysconfig / network-script / *

На початку цього року ми найняли нову дівчину. Мене попросили переконатися, що всі шрифти компанії були встановлені на її комп’ютері. Я знав, що вони є, але вирішив вибрати мої битви і просто встановити їх знову. Мені через 5 хвилин мені зателефонували дівчині, і вона хотіла, щоб я зайшов і показав їй, як використовувати нове "програмне забезпечення", яке я встановив. Я підійшов, відкрив Word і провів її, як змінити шрифти .... ось що я встановив.

Ця дівчина мала PHD !! Тут вона більше не працює, але не тому, що не знала, як використовувати шрифти.