在用着三个工具搭一个日志处理的平台,目前有两个不同的系统日志需要处理。
开始考虑在一台机器上启动两个 logstash 实例,收集日志后发到 elasticsearch 上,不知道为什么第二个总是连接不上,传不出数据,进而考虑用一个 logstash 实例,然后在配置文件里给文件加 type ,在 output 中根据 type 判断处理,但是还是有一个条件里的不成功啊。。。求助大家,目前输出的配置文件如下
output {
if [type] == "targeted_coupon" { elasticsearch { host => ["127.0.0.1:9300"] cluster => "cluster_spark" protocol => "node" index => "coupon_%{+YYYYMMdd}" max_retries => 10 } #stdout { codec => rubydebug } } else { elasticsearch { host => ["127.0.0.1:9300"] cluster => "cluster_spark" protocol => "node" index => "gift_%{+YYYYMMdd}" document_type => "%{type}" max_retries => 10 } #stdout { codec => rubydebug } }