Хтось знає про інструмент для виявлення та звітування про повторювані шаблони у файлі журналу? [зачинено]

Мені потрібно відслідковувати кілька великих шумних файлів журналів (500м / день) із програми Java (log4j). Зараз я вручну дивлюся на файли, grep для "ПОМИЛКА" тощо. Однак інструмент повинен мати можливість помітити повторювані шаблони у файлі, порахувати їх та надати детальну інформацію про окремі записи. Хтось знає про такий інструмент? Текстовий або веб-інтерфейс буде добре.

Я чув, як люди застосовують баєсівську фільтрацію у файлах журналів, щоб помітити цікаві речі та звичайні записи журналу. Вони використовували фільтри спаму, де звичайні нецікаві записи вважалися "хорошими", тоді як незвичайні вважалися "спамом", і за допомогою цього забарвлення вони змогли зміститись.

Мені це дуже схоже на матеріали машинного навчання, але потім я знову не бачив його в дії, лише чув про це над пивом.

Splunk творить чудеса для подібних матеріалів. Я використовую її внутрішньо для збору всіх журналів і швидкого пошуку через його відмінний інтерфейс на основі браузера.

syslog-ng має функцію patterndb з назвою. Ви можете робити шаблони та записувати журнали відповідності до них у режимі реального часу, а потім надсилати їх до окремих журналів.

Переглядаючи syslog-ng та patterndb (+1 до цієї відповіді вище), я зіткнувся з веб-інструментом під назвою ELSA: http://code.google.com/p/enterprise-log-search-and-archive/ . Це F / OSS в perl, з веб-інтерфейсом, і він повинен бути дуже швидким.

Я ще не пробував цього, але як тільки я закінчив фільтрувати за допомогою patterndb, я спробую ELSA.

Спробуйте пети .
Я не впевнений, чи буде він працювати у форматі log4j, але ви, можливо, зможете написати для цього спеціальний фільтр.
У Petit немає веб-інтерфейсу, він відображає графіки у вашій оболонці (ASCII art ftw!).
Дуже корисно швидко бачити повторювані повідомлення та з’ясовувати, коли вони траплялися чи почали траплятися частіше.

Якщо ви використовуєте debian / create на своєму сервері, подивіться на log2mail: http://packages.debian.org/squeeze/log2mail

Glogg - це дуже хороший дослідник журналів, оскільки у вас є можливість створити основу фільтру на рядку та кольоровій лінії або відновити всі випадки до рядка.

http://glogg.bonnefon.org/

Splunk зазвичай є хорошим рішенням для цього. Але ви згадали, що для вас це занадто дорого. Тож рекомендую вам подивитися на Logstash або GrayLog .

Ви можете спробувати LogTtender SEQREL, який автоматично визначає шаблони та агрегує подібні журнали. Так робиться, створюючи регулярні вирази під час руху та використовуючи кешований регулярний вираз, щоб відповідати іншим журналам. За допомогою додаткового виявлення таксономії можна додати ще більш деталізацію. Безкоштовну версію можна завантажити за посиланням https://try.logxtender.net .