Як обробляти декілька різнорідних входів за допомогою Logstash?

Скажімо, у вас є 2 дуже різних типи журналів, таких як технічні та ділові журнали, і ви хочете:

• необроблені технічні журнали перенаправляються до сервера Graylog2 за допомогою gelfвиводу,
• Журнали бізнесу json зберігаються у кластрі еластичних пошуків за допомогою спеціального elasticsearch_httpвиводу.

Я знаю, що, Syslog-NGнаприклад, конфігураційний файл дозволяє визначити кілька різних входів, які потім можна обробити окремо перед відправленням; те, що Logstashздається нездатним зробити. Навіть якщо один екземпляр можна ініціювати за допомогою двох конкретних файлів конфігурації, усі журнали приймають один і той же канал і застосовуються однакові обробки ...

Чи слід запускати стільки екземплярів, скільки журналів різних типів?

Чи слід запускати стільки екземплярів, скільки журналів різних типів?

Немає! Ви можете запустити лише один екземпляр для обробки журналів різних типів.

У файлі конфігурації logstash ви можете вказати кожен вхід іншого типу . Тоді у фільтрі ви можете використовувати if, щоб відрізняти різну обробку, а також на виході ви можете використовувати "if" виведення в інший пункт призначення.

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

Сподіваюся, це може вам допомогти :)

Я використовував теги для введення декількох файлів:

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

Я думаю, що logstash не може прочитати більше 2 файлів у розділі Введення. спробуйте нижче

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}