Logstash ile birden fazla heterojen girdi nasıl işlenir?

Diyelim ki teknik ve iş günlükleri gibi çok farklı 2 tür günlüğünüz var ve istediğiniz:

• ham teknik günlükler bir gelfçıktı kullanılarak graylog2 sunucusuna yönlendirilebilir ,
• json iş günlükleri, adanmış elasticsearch_httpçıktı kullanılarak bir elasticsearch kümesinde depolanabilir .

Syslog-NGÖrneğin, yapılandırma dosyasının, gönderilmeden önce ayrı ayrı işlenebilecek birkaç farklı girdinin tanımlanmasına izin verdiğini biliyorum ; ne Logstashyapamaz görünüyor. İki özel yapılandırma dosyasıyla bir örnek başlatılabilse bile, tüm günlükler aynı kanalı alır ve aynı işlemler uygulanır ...

Farklı günlük türlerine sahip olduğum kadar örnek çalıştırmalı mıyım?

Farklı günlük türlerine sahip olduğum kadar örnek çalıştırmalı mıyım?

Hayır! Farklı günlük türlerini işlemek için yalnızca bir örnek çalıştırabilirsiniz.

Logstash yapılandırma dosyasında, her bir girişi farklı tipte belirtebilirsiniz . Daha sonra filtrede , farklı işlemeyi ayırmak için if kullanabilirsiniz ve ayrıca çıktıda farklı hedefe "if" çıktısını kullanabilirsiniz.

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

Umarım bu size yardımcı olabilir :)

Birden çok dosya girişi için etiket kullandım:

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

Logstash'in Giriş bölümünde 2 dosyadan fazlasını okuyamayacağını düşünüyorum. aşağıdakileri deneyin

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}