如何基于最低日志级别过滤Logstash日志（无需指定具体级别）

你可以通过给日志级别分配优先级权重，再基于权重判断是否保留日志的方式实现动态阈值控制，不用逐个删除低级别日志。以下是两种实用方案：

方案一：使用 mutate 字段赋值 + 条件判断 #

先给每个日志级别映射一个数字权重，级别越高权重越大，然后设置最低阈值对应的权重，低于该值的日志直接丢弃。示例配置如下：

filter {
  # 统一日志级别为小写，避免大小写不匹配问题
  mutate {
    lowercase => "[log.level]"
  }

  # 给日志级别分配权重
  mutate {
    add_field => {
      "[log][level_weight]" => "%{case [log.level] {
        \"debug\" => 1,
        \"info\" => 2,
        \"warn\" => 3,
        \"error\" => 4,
        \"fatal\" => 5,
        default => 0
      }}"
    }
    convert => { "[log][level_weight]" => "integer" }
  }

  # 设置最低保留级别（示例为warn，对应权重3），低于该权重的日志丢弃
  if [log][level_weight] < 3 {
    drop {}
  }
}

后续要调整阈值时，只需修改判断条件里的数字即可——比如要保留error及以上级别，就改成<4。

方案二：使用 Ruby 插件实现灵活的动态阈值 #

如果需要支持从环境变量或外部配置动态读取阈值，用Ruby插件的扩展性更强：

filter {
  ruby {
    code => '
      # 定义级别优先级映射
      level_priority = {
        "debug" => 1,
        "info" => 2,
        "warn" => 3,
        "error" => 4,
        "fatal" => 5
      }
      # 统一日志级别为小写
      current_level = event.get("[log][level]")&.downcase
      # 获取当前日志级别的权重，未知级别默认0
      current_weight = level_priority[current_level] || 0
      # 读取最低阈值（可替换为读取环境变量：ENV["MIN_LOG_LEVEL_WEIGHT"].to_i）
      min_weight = 3
      # 低于阈值则丢弃日志
      event.cancel if current_weight < min_weight
    '
  }
}

如果要动态调整阈值，直接修改min_weight的值，或者改成读取环境变量，无需修改配置文件就能快速调整最低保留级别。

注意事项 #

• 确保日志级别字段[log.level]的取值和映射表完全匹配，提前做小写转换能避免大小写不一致导致的判断错误；
• 未知日志级别默认权重为0会被丢弃，若需保留未知级别，可将默认值设为高于阈值，或调整判断逻辑。

内容的提问来源于stack exchange，提问作者Junior Cloud Enginner