Logstash报错‘Badly formatted index...’：Filebeat日志采集遇索引格式问题求助

核心问题分析 #

报错提示的索引模板[%{[fields.log_type]}-%{[agent.version]}-2023.03.29]和你当前提供的output段索引配置完全不符，说明要么你修改的配置未生效，要么存在其他生效的配置在生成这个错误的索引格式。

排查&解决步骤 #

• 检查所有Logstash配置文件
  Logstash会加载conf.d目录下所有.conf文件，确认是否有其他output配置文件使用了%{[fields.log_type]}-%{[agent.version]}-%{+YYYY.MM.dd}格式的索引，旧配置未删除或多配置冲突是常见原因。

• 验证配置并强制重启Logstash
  修改配置后必须重启Logstash才能生效，先执行语法测试：

  logstash -f /etc/logstash/conf.d/your-config.conf --config.test_and_exit
  

  测试通过后重启Logstash服务。

• 开启stdout调试确认字段
  取消注释stdout { codec => rubydebug }，重启Logstash后查看输出的事件数据：

  • 确认fields.log_type、agent.version、[@metadata][beat]、type这些字段是否存在
  • 若某字段缺失，Logstash会保留占位符原样，直接触发报错

• 给索引字段添加默认值（兜底方案）
  如果需要使用这些动态字段生成索引，可通过两种方式避免占位符残留：

  1. 在filter段给缺失字段补默认值：

     filter {
       # 仅当字段不存在时添加，避免覆盖已有值
       if ![fields][log_type] {
         mutate { add_field => { "[fields][log_type]" => "default-log" } }
       }
       if ![agent][version] {
         mutate { add_field => { "[agent][version]" => "unknown" } }
       }
     }
     

  2. 直接在索引名中使用默认值语法：

     index => "%{[fields.log_type]:default-log}-%{[agent.version]:unknown}-%{+YYYY.MM.dd}"
     

内容的提问来源于stack exchange，提问作者Dr. Alexander