Logstash输入中if语句是否可用？如何前置校验字段存在性？

Logstash的输入阶段不支持在input块内使用if语句基于字段存在性启用输入插件。原因很明确：输入阶段负责接收原始数据（比如Beats发送的字节流），此时日志还未被解析，你要校验的[field]和[another_field]字段根本不存在，自然无法做判断。你提供的配置会导致Logstash启动报错，因为input块不允许嵌套这类条件逻辑。

如果你需要实现“仅对包含特定字段的日志进行特定处理，且不丢弃任何日志”的需求，推荐采用先全量接收，再在过滤/输出阶段做条件路由的方案，具体配置示例如下：

input {
  beats {
    port => 5044
    # 保留Beats基础配置，接收所有发送过来的日志
  }
}

filter {
  # 第一步：解析日志生成字段（根据日志格式选择对应插件，比如json、grok）
  json {
    source => "message"
  }

  # 第二步：校验字段存在性，给日志打标签区分
  if [field] and [another_field] {
    mutate {
      add_tag => ["valid_log"]
    }
    # 可选：对符合条件的日志做额外处理（比如字段转换、数据补全）
  } else {
    mutate {
      add_tag => ["incomplete_log"]
      add_field => { "reason" => "missing required fields (field/another_field)" }
    }
    # 可选：给缺失字段的日志补充默认值，避免后续流程报错
  }
}

output {
  # 对符合条件的日志输出到目标存储（比如主索引）
  if "valid_log" in [tags] {
    elasticsearch {
      hosts => ["http://localhost:9200"]
      index => "valid_logs-%{+YYYY.MM.dd}"
    }
  }

  # 对缺失字段的日志输出到单独存储，完全避免丢弃
  if "incomplete_log" in [tags] {
    elasticsearch {
      hosts => ["http://localhost:9200"]
      index => "incomplete_logs-%{+YYYY.MM.dd}"
    }
    # 也可以选择输出到文件、消息队列等，根据业务需求调整
  }
}

这个方案的核心逻辑是：

• 全量接收所有日志，确保没有数据丢失
• 在过滤阶段完成字段校验和分类，通过标签标记日志类型
• 在输出阶段根据标签将不同类型的日志路由到不同存储，既实现了对目标日志的定向处理，又保留了所有原始数据

如果尝试在发送端（比如Filebeat）配置条件过滤，虽然能实现“仅发送符合字段要求的日志”，但会直接丢弃不符合条件的日志，不符合你“不丢弃日志”的需求，因此不推荐这种方式。

内容的提问来源于stack exchange，提问作者Lucas Praça