Logstash中[in]语句判断字段存在失效问题求助

先给你拆解下问题根源，再给出可行的修复方案：

1. 最初语法的核心错误 #

你写的if [service] in [fields]完全误解了Logstash的条件逻辑：

• [service]代表的是顶级service字段的值，而非fields嵌套下的service键
• in [fields]是检查这个值是否存在于fields数组中（仅当fields是数组类型时生效）

这和你想要的“检查fields里是否包含service字段”的需求完全不符，所以这个条件根本不会触发。

2. 为什么"service" in [fields]也没生效？ #

你尝试的"service" in [fields]是正确的语法（用于检查哈希类型的fields中是否存在service这个键），但导致所有日志进default可能有两个原因：

• 部分日志的fields字段不存在：如果事件里根本没有fields字段，[fields]会返回nil，"service" in nil的结果是false，直接走到else分支
• fields不是哈希类型：虽然Filebeat默认会把fields作为哈希输出，但如果某些服务器的Filebeat配置错误，fields可能被设置成了数组，这时候"service" in [fields]会检查数组里是否有"service"这个字符串，而非检查键是否存在

3. 修复后的配置方案 #

我调整了条件判断逻辑，同时加入冗余检查，确保覆盖所有场景：

output {
  if [fields][pipeline_marker] == "application" {
    pipeline { send_to => "application" }
  } else if [fields][pipeline_marker] == "REDACTED" {
    pipeline { send_to => "REDACTED" }
  } else if [fields] is_a? Hash and "service" in [fields] {
    # 先确认fields是哈希结构，再检查是否存在service键（不管值是否为空）
    pipeline { send_to => "default-service" }
  } else {
    pipeline { send_to => "default" }
  }
}

如果你的需求是**fields.service必须有非空值**才进入default-service，可以把第三个条件改成：

else if [fields][service] {
  # 这个条件会同时检查fields.service存在且值非空（排除null、空字符串等情况）
  pipeline { send_to => "default-service" }
}

4. 快速验证建议 #

为了彻底排查问题，你可以临时在output里加一个调试输出，查看事件的实际结构：

output {
  # 保留你的原有条件逻辑
  ...
  # 新增调试输出，仅打印前10条事件
  stdout {
    codec => rubydebug
    count => 10
  }
}

通过这个调试输出，你可以确认：

• 事件里是否存在fields字段
• fields是哈希还是数组类型
• fields.service是否存在、值是什么

内容的提问来源于stack exchange，提问作者Jmons