Logstash字段访问方法及索引参数化配置优化咨询

问题背景 #

用户将部署在Kubernetes（K8s）或虚拟机（VM）上的多服务日志，通过Filebeat发送至Logstash，需求是为不同日志源（K8s/VM）的日志设置包含服务名称（log_type）的独立索引。当前已有基于log_type分支判断的Logstash输出配置可正常运行，但希望优化配置以适配后续大量新增服务的场景。

当前Logstash输出配置 #

output {
    if ([fields][log_type] == "service-1"){
        elasticsearch {
            hosts => ["https://localhost:9200"]
            manage_template => false
            user => '${ELASTICSEARCH_USERNAME}'
            password => '${ELASTICSEARCH_PASSWORD}'
            index => "filebeat-service-1-%{+YYYY.MM.dd}"
        }       
    } else if ([fields][log_type] == "service-2") {
        elasticsearch {
            hosts => ["https://localhost:9200"]
            manage_template => false
            user => '${ELASTICSEARCH_USERNAME}'
            password => '${ELASTICSEARCH_PASSWORD}'
            index => "filebeat-service-2-%{+YYYY.MM.dd}"
        }
    } else {
        elasticsearch {
            hosts => ["https://localhost:9200"]
            manage_template => false
            user => '${ELASTICSEARCH_USERNAME}'
            password => '${ELASTICSEARCH_PASSWORD}'
            index => "filebeat-default-%{+YYYY.MM.dd}"
        }
    }
}

对应Filebeat配置片段 #

filebeat.inputs:
  - type: log
    enabled: true
    paths:
    - /var/log/*.log
    include_lines: ['DEBUG', 'WARN', 'INFO', 'ERROR', 'WARNING', 'FATAL', 'CRITICAL']
    exclude_files: ['.gz$']
    multiline.pattern: ^\d
    multiline.negate: true
    multiline.match: after
    fields:
      log_type: service-1

用户问题 #

1. Logstash配置文件中访问字段的正确方式是什么？
2. 能否对Logstash配置进行参数化优化（因后续会新增大量服务），并询问以下简化配置是否可行，其中的[fields][log_type]是否会被Filebeat配置中指定的值（如service-1）替换？

用户提供的简化配置示例 #

output {
    elasticsearch {
        hosts => ["https://elasticsearch-master:9200"]
        manage_template => false
        user => '${ELASTICSEARCH_USERNAME}'
        password => '${ELASTICSEARCH_PASSWORD}'
        cacert => ["/usr/share/logstash/config/certs/ca.pem"]
        index => "filebeat-[fields][log_type]-%{+YYYY.MM.dd}"
    }       
}

问题解答 #

1. Logstash字段访问的正确方式 #

• 条件判断场景：对于嵌套字段，使用[顶级字段][子字段]的格式，比如你现有配置中的[fields][log_type]就是正确写法，适用于if语句等逻辑判断场景。
• 字符串插值场景：在字符串（如索引名称、输出内容）中引用字段时，必须使用%{[字段路径]}的格式，直接写[fields][log_type]不会被解析为字段值。

2. 配置参数化优化与简化配置可行性 #

你提供的简化配置不可直接生效，因为索引名称里的[fields][log_type]不会自动替换为实际字段值，需要修正为字符串插值语法。

优化后的参数化配置

无需为每个服务编写分支判断，直接通过字段插值自动生成索引，完美适配后续新增服务的需求：

output {
    elasticsearch {
        hosts => ["https://elasticsearch-master:9200"]
        manage_template => false
        user => '${ELASTICSEARCH_USERNAME}'
        password => '${ELASTICSEARCH_PASSWORD}'
        cacert => ["/usr/share/logstash/config/certs/ca.pem"]
        # 字段插值+默认值兜底：如果log_type字段存在则用其值，否则用default
        index => "filebeat-%{[fields][log_type]:default}-%{+YYYY.MM.dd}"
    }       
}

关键说明

• 该配置中%{[fields][log_type]:default}的作用：当[fields][log_type]字段存在且有有效值时，使用该值生成索引名；若字段缺失或为空，自动用default作为兜底值，避免索引名称格式错误。
• Filebeat配置中设置的fields.log_type会被存入日志事件的fields嵌套字段下，因此Logstash中用[fields][log_type]可正确访问到对应值；若你在Filebeat中开启了fields_under_root: true，则字段会直接放在根层级，访问方式需改为%{[log_type]:default}。
• 优化后的配置彻底解决了原始分支配置扩展性差的问题，后续新增服务只需在对应Filebeat配置中设置log_type，无需修改Logstash配置或重启服务。

内容的提问来源于stack exchange，提问作者Iryna