基于Filebeat自定义字段的Logstash条件逻辑配置问题

嘿，刚上手ELK就搞多日志类型区分，给你几个实用的解决思路，亲测有效哈！

第一步：先确认log_type字段真的传到Logstash了 #

很多时候条件不生效，都是因为字段根本没传对地方。你可以先临时给Logstash加个标准输出，看看收到的事件里有没有这个字段：

input {
  beats {
    port => 5044 # 对应Filebeat里的output.beats.hosts配置
  }
}

output {
  stdout { codec => rubydebug } # 把所有收到的日志打印到控制台
}

启动Logstash后，看控制台输出里有没有log_type字段。如果找不到，得回头检查Filebeat配置：

• 要确保每个日志输入都单独加了fields.log_type，并且开了fields_under_root: true（不然字段会嵌套在fields对象里，得用[fields][log_type]访问）

filebeat.inputs:
  - type: log
    paths:
      - C:\inetpub\logs\LogFiles\W3SVC1\*.log
    fields:
      log_type: iis_log
  - type: log
    paths:
      - C:\YourAppLogs\*.log
    fields:
      log_type: app_log

fields_under_root: true # 关键！把自定义字段放到根层级

第二步：写对Logstash的条件逻辑 #

确认字段存在后，就可以针对不同log_type做差异化处理了，不管是过滤解析还是输出到不同ES索引都可以：

示例1：在filter阶段区分解析逻辑 #

filter {
  # 先判断字段存在，避免空值报错
  if [log_type] {
    # 处理IIS日志
    if [log_type] == "iis_log" {
      grok {
        match => { "message" => "%{TIMESTAMP_ISO8601:iis_timestamp} %{IPORHOST:server_ip} %{WORD:http_method} %{URIPATH:request_uri} %{NUMBER:http_status}" }
      }
      date {
        match => [ "iis_timestamp", "yyyy-MM-dd HH:mm:ss" ]
        target => "@timestamp" # 把日志时间同步到ES的时间字段
      }
    }
    # 处理自定义应用日志
    elsif [log_type] == "app_log" {
      grok {
        match => { "message" => "%{TIMESTAMP_ISO8601:app_timestamp} %{LOGLEVEL:log_level} %{DATA:app_message}" }
      }
      mutate {
        add_tag => ["custom_app"] # 给应用日志打个标记，方便后续筛选
      }
    }
  } else {
    # 处理没有log_type的异常日志
    mutate { add_tag => ["missing_log_type"] }
  }
}

示例2：在output阶段输出到不同ES索引 #

output {
  if [log_type] == "iis_log" {
    elasticsearch {
      hosts => ["http://your-es-server:9200"]
      index => "iis-logs-%{+YYYY.MM.dd}" # 按日期分索引，方便管理
    }
  } elsif [log_type] == "app_log" {
    elasticsearch {
      hosts => ["http://your-es-server:9200"]
      index => "app-logs-%{+YYYY.MM.dd}"
    }
  }
  # 同时把所有日志打印到控制台，方便调试
  stdout { codec => rubydebug }
}

第三步：避坑指南 #

• 字段大小写敏感：Logstash里字段名是区分大小写的，Filebeat里设的是log_type，就别在Logstash里写成Log_Type
• 编码问题：Windows服务器的日志可能用GBK编码，记得在Filebeat的input里加encoding: gbk，避免字段乱码导致判断失效
• 空值处理：一定要加if [log_type]的前置判断，不然遇到没有这个字段的日志，会直接跳过所有逻辑或者报错

内容的提问来源于stack exchange，提问作者John Mc