Альтернативи Splunk?

Я дуже вражений Splunk , особливо версія 4. Гарні графіки, тривожні (лише для підприємств) та швидкі, точні, пошукові. Це чудовий продукт.

Однак вартість просто занадто висока, щоб розглянути можливість повного використання виробництва для нашої компанії. Все, що нам насправді потрібно, - це вміти індексувати різні журнали в центральному місці та мати розумний пошук по цьому. Повідомлення на основі збереженого пошуку також дуже приємно. Ми насправді не виходимо за рамки цього.

Насправді наше найбільше використання було у розгортанні нових програм. Все відбувається через log4net або в журналі подій в Windows, або в текстовому файлі в Linux. Splunk дозволяє легко провести швидкий пошук серед них, щоб переконатися, що всі частини програми працюють нормально - це заощадило нам багато часу порівняно з відшукуванням окремих джерел реєстрації.

Які альтернативи існують на цьому ринку? Я відчуваю, що ціна Splunk є настільки високою, оскільки на сьогоднішній день вони мають найкращий товар, і вони це знають. Ми хочемо, щоб сервер працював у Windows.

Я б відкритий для розбитої моделі, використовуючи один продукт для загальних журналів (збирати через syslog / Snare) та виділений продукт для наших спеціальних додатків (наприклад, панель інструментів Log4Net ).

Чи може використовувати простий сервер syslog, такий як Kiwi, надісланий на SQL Server (можливо, з увімкненим повним текстом)?

Я сподіваюся, що вартість повинна бути значно нижчою за 5 цифр, дол. (І так, я знаю, ми дешеві. Ми стартап з невеликими грошима, і BizSpark піклується про всі наші ліцензування MS.)

Редагувати: Додам, у нас є близько 10 фізичних серверів, 20 ВМ, а також кілька брандмауерів і комутаторів. 90% - це Windows.

Примітка. Це все стосується Linux та вільного програмного забезпечення , тому що я в основному використовую, але вам слід добре відповідати клієнтові syslog в Windows, щоб відправити журнали на сервер syslog Linux.

Реєстрація на сервері SQL: Маючи близько 30 машин, ви маєте добре працювати майже з будь-яким централізованим системою, подібним до syslog, і з резервним набором SQL. Для цієї речі я використовую syslog-ng та MySQL в Linux.

Досить фронтальні графіки - це основна проблема. Здається, що є багато зламаних передніх торців, які захоплять елементи з журналів та показують, скільки звернень, попереджень тощо, але я не знайшов нічого інтегрованого та чистого. Справді, це головне, що ви шукаєте ... (Якщо я знайду щось хороше, тоді я оновлю цей розділ!)

Сповіщення : Я використовую SEC на сервері Linux, щоб знайти погані речі, що відбуваються в журналах, і попереджувати мене різними методами. Це неймовірно гнучко і не настільки вибагливо, як Splunk. Тут є чудовий підручник, який наводить багато можливих функцій.

Я також використовую Nagios для графіків різної статистики та деяких попереджень, які я не отримую з журналів (наприклад, коли сервіси не працюють тощо). Це можна легко налаштувати, щоб додати графіки всього, що вам подобається. Я додав графіки елементів, таких як кількість звернень, виконаних на http-сервері, за допомогою агента використовуючи плагін check_logfiles для підрахунку кількості звернень у журналах (це зберігає позицію, до якої він потрапляє за кожен період перевірки).

Загалом це залежить від того, скільки коштуватиме ваш час, щоб налаштувати це , оскільки є багато варіантів, які ви можете використовувати, але вони не такі інтегровані, як Splunk, і, ймовірно, знадобиться більше зусиль, щоб зробити те, що ви хочете. Графіки Nagios легко налаштувати, але вони не дають вам історичних даних, перш ніж додавати графік, тоді як за допомогою Splunk (і, мабуть, інших передньої частини) ви можете озирнутися на минулі журнали та речі графіків, які ви тільки просто думав поглянути на них.

Зауважте також, що формат бази даних та індексація SQL матимуть величезний вплив на швидкість запитів, тому ваша ідея повнотекстової індексації зробить неабияке збільшення швидкості пошуку. Я не впевнений, чи будуть MySQL чи PostgreSQL робити щось подібне.

Редагувати : MySQL буде проводити повнотекстову індексацію, але лише в таблицях MyISAM до MySQL 5.6. У 5.6 додано підтримку InnoDB .

Редагувати : Postgresql може виконати повний пошук тексту, звичайно: http://www.postgresql.org/docs/9.0/static/textsearch.html

Більше орієнтований на * nix, ніж windows, але восьминоги підтримують вікна, і, здається, націлені на те саме, що і спанч.

Я в середині випробовую ряд моніторингових рішень - але я хочу в основному контролювати вікна. Більшість систем орієнтовані на моніторинг SNMP, якому вдається витягти неабияку кількість інформації без агентів.

Це декілька систем, які я спробував до цього часу:

Nagios - Відкритий код. Свиня для налаштування, але високо оцінений і здається дуже гнучким. Здається, це по суті лічильник запису і не дозволяє віддалене виконання сценарію, тому його не можна використовувати для вирішення проблем із конфігурацією, ala MS system center або Kaseya. Без агентів, але по суті марно без інструменту NSclient, встановленого на кожному клієнті.

Кактуси - гарний і простий графічний інструмент, заснований на витягуванні статистики snmp. Без агента.

OpsView - заснований на Nagios, але простіший у налаштуванні та має кращу передню частину.

HypericHQ - Легко вставати та працювати під Windows. Базова версія безкоштовна і робить багато. Є комерційне підприємство HypericHQ. Агент повинен бути встановлений на кожному клієнті.

Zabbix - ще один приємний інструмент моніторингу. Його легше використовувати, ніж нагіоси. Має агент, який можна встановити на Windows та клієнтські машини. Я поки що цього лише трохи дослідив.

Zenoss - Відкритий код. Мене дуже вразило, наскільки професійний Zenoss. Він має монітор на основі SNMP і має безліч розширень, щоб дозволити моніторинг проліансів HP, служб Windows, сервера MS sql, mysql. Усі розширення працюють за допомогою SNMP, тому нічого не потрібно встановлювати на клієнтських машинах. Я ще не вивчив це все, і, здається, є багато функцій, які я ще маю використовувати. Його базується на Zope, тому, якщо ви не швидкодієте встановлення Zope, я б рекомендував завантажити попередньо підготовлений VM - він працює як мрія прямо з коробки.

На комерційному фронті ви можете ознайомитись з кількома інструментами:

Kaseya - коштує близько 6k на рік за 250 вузлів, якщо я добре пам’ятаю, але це чудовий інструмент і має дуже активну спільноту користувачів. Вона спрямована на msp ринок і дозволяє здійснювати моніторинг декількох систем компанії. Його можна використовувати внутрішньо без проблем.

GFI Hounddog - простіший за Kaseya, але дуже дешевий на даний момент. Однозначно варто подивитися.

Існує ряд рішень, що продаються як системи MSP, але вони по суті є моніторами + віддаленим адміністратором.

Ян

Для централізованого системоутворення з великою кількістю чудових функцій я не можу не рекомендувати достатньо rsyslog . Це сервер syslog з відкритим кодом, який із задоволенням може працювати заміною звичайного syslogd, який ви знаєте і любите. Тепер його демон вибору для Ubuntu, і я думаю, що Red Hat & Fedora також можуть піти по цьому шляху. Мені було легше встати та працювати та робити те, що ти хочеш, що це syslog-ng.

В даний час у нашому магазині є два центральних сервери rsyslog (по одному на кожному сайті), який приймає журнали для сотень серверів. У мене є автоматичні сповіщення електронною поштою щоразу, коли щось в syslog запускає попередження або вище (з певним налаштуванням, звичайно, деякі додатки трохи викликають тривогу). Я, мабуть, міг би зробити ще кілька розумних робіт, як, наприклад, змусити його надсилати речі до нагіосів або подібних, але це наразі покриває нас достатньо для наших потреб.

Це все також входить у базу даних mysql (є також підтримка Oracle або postgresql, якщо саме так ви робите).

Також є веб-інтерфейс та агент Windows для надсилання журналів Eventlog на сервер rsyslog. Веб-інтерфейс, очевидно, не настільки витончений, як сповнений, але він робить роботу за 0 доларів.

Погляньте на http://www.codeplex.com/polymon

Його відкритий джерело, використовує SQL Server у бекенді та має фантазійний інтерфейс

Я згоден, що Splunk - це приголомшливий. Для невеликих, переважно Linux-середовищ, ви можете поглянути на щось на зразок епілога .

Ми використовували його в одному з місць, де я працював, і це було чудово для того, що ми хотіли.

Не впевнений, наскільки добре він обробляє повідомлення системного журналу Windows, що надсилаються до колектора syslog Linux, але, можливо, варто його зняти.

Просто посилання на мою відповідь ще де:

Splunk фантастично дорогий: Які альтернативи?

Редагувати (нові проекти):

У LogStash і Graylog2 проекти виглядають дуже цікаво

Ось пара відео: одне два .

Щось на зразок GFI EventsManager може зробити трюк приблизно за $ 4 тис.

• Аналіз журналів подій, включаючи SNMP-пастки, журнали подій Windows, журнали W3C та Syslog
• Сповіщення в режимі реального часу, включено попередження SNMPv2 про пастки
• Перегляньте звіти про ключову інформацію про безпеку, яка зараз відбувається
• Централізована реєстрація подій
• Видаліть "шум" або тривіальні події, які складають велике співвідношення всіх подій безпеки
• Моніторинг та оповіщення в режимі реального часу 24 х 7 х 365 днів
• Графічно контролюйте стан GFI EventsManager та вашої мережі через вбудований монітор стану
• Підтримка віртуальних середовищ

Якщо ви шукаєте заміну SysLog, ви також можете розглянути комерційну заміну syslog / rsyslog, як LogLogic, http://loglogic.com . У нас (там, де я працюю) є повний набір приладів для ведення журналів, зберігання та звітності. По суті, його здатність збирати 100000 повідомлень в секунду, боліти та індексувати їх, щоб здійснити пошук.

Ви можете спробувати logscape з liquidlabs - дуже схожий на спінк, але також має кілька різних особливостей .... http://www.liquidlabs-cloud.com/products/logscape.html

Я робив тему SQL на попередній роботі (до речі, це був MySQL), у комплекті зі сценаріями, інтерфейсом Drupal з користувацькими скриптами PHP, творами.

Чесно кажучи, це зайняло занадто багато людино-годин і все ще не було Splunk.

В даний час я тестую Splunk замість цього. Так, це не безкоштовно, але, дивлячись на велику картину, це може бути і дешевше.

Ви пробували php-syslog-ng? http://code.google.com/p/php-syslog-ng/

Я опублікував нитку дупи : Splunk фантастично дорогий: Які альтернативи?

xpolog та всі серйозні комерційні рішення - ВІЛЬНІ $ (навіть якщо менше, ніж прокручено, більшість - це легко 5 цифр!)

Sooooo, що ми, нарешті, зробили (бо сплінк був занадто великим доларом):

1) Ми хотіли простий syslog для трубопроводу sql db

2) Ми спробували kiwi syslog. Це працювало чудово протягом тижня, перестало працювати, і підтримка ківі не змогла це виправити. Так ми кинули ківі

3) Ми спробували winyslog. Стара собака програми, ми не хотіли її вивчати.

4) Ми використовували цей безкоштовний додаток .net: http://www.aonaware.com/syslog.htm

Вуаля. У нашому db є повідомлення системи.

Ми дуже раді. $ 0 витрачено, кілька годин, але не надто багато.

Ми тут використовуємо Splunk, і я в шоці від ціни, яку вони вам сказали. Основна розбивка, яку нам дали, надійшла десь близько 1 тис. Доларів США за 1 ГБ даних. Це дорого, але надпотужно і дуже швидко розвиватися. Залежно від ваших джерел даних та того, що ви хочете зробити з ними, деякі сценарії python та perl можуть надати вам багато подібних даних. Великою різницею буде час і навчитися реально володіти мовою для обробки тексту. Ви також не зможете отримати інформацію про IP-адреси в реальному часі (такі речі, як syslog), хоча ви можете це виправити, отримавши syslogger та вивівши інформацію в текстовий файл. Вибачте, я не можу вказати вам на якесь конкретне рішення; те, що ми не можемо використовувати splunk, ми використовуємо сценарії python, perl та bash.

ELSA - Пошук і архів журналу підприємств

Основні риси:

• Повнотекстовий пошук за будь-яким словом у повідомленні або проаналізованому полі.
• Групуйте за будь-яким полем і виробляйте звіти за результатами.
• Заплануйте пошуки.
• Сповіщення про пошукові запити в нових журналах.
• Збереження результатів пошуку, електронною поштою збережені результати пошуку.
• Створюйте інцидентні квитки на основі результатів пошуку (за допомогою плагіна).
• Повна система плагінів для отримання результатів.
• Експортуйте результати як постійна посилання, так і в Excel, PDF, CSV та HTML.
• Повна інтеграція LDAP для дозволів.
• Статистика запитів за користувачем та розміром і кількістю журналів.
• Повністю розподілена архітектура, може обробляти n вузлів з усіма запитами, що виконуються паралельно.
• Стислий архів із кращим співвідношенням 10: 1.

Деталі продуктивності:

Для характеристики системи за важливістю: розмір диска, оперативна пам’ять, швидкість диска, кількість процесорів. Переважаючий коефіцієнт продуктивності - індекс-індекс Sphinx і пошуковий демон, тому зверніться до sphinxsearch.com для документів. Моя дана статистика взята з великих систем (16 процесора, 144 ГБ оперативної пам’яті, 12 ТБ HD), але ви отримаєте таку ж ефективність у системі з 4 процесором, 8 ГБ оперативної пам’яті та будь-яким розміром HD, оскільки речі масштабуються лінійно. Спочатку система працювала на лопатках IBM із 4 Гб оперативної пам’яті та повільними накопичувачами SAN і працювала приблизно з однаковою швидкістю, але 4 ГБ скорочує її трохи ближче.

Деталі продуктивності та основні характеристики, а також опис архітектури: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

Код: https://code.google.com/p/enterprise-log-search-and-archive/

ВМ: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

Деталі щодо проекту: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

Якщо ви шукаєте набагато доступнішу альтернативу Splunk - спробуйте LogZilla ( http://www.logzilla.pro ). Він масштабується так само або краще, ніж Splunk (ви можете шукати понад 300 м журналів за 1-2 секунди) і легко становить 1/10 від вартості. У них демонстрація демонструється на веб- сайті http://demo.logzilla.pro