Filebeat传日志至Logstash：基于类路径动态添加字段的实现问询

当然可以实现！你要的这种动态提取com.company开头的类路径、并以此为名称创建新字段的需求，用Logstash的grok和mutate过滤器组合就能轻松搞定。结合你的日志格式，我给你整理了一套可直接复用的配置方案：

完整Filter配置 #

filter {
  # 1. 用grok精准提取以com.company开头的类路径
  grok {
    match => { 
      "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{DATA:extracted_class:regex(/^com\.company\..+/)} - %{GREEDYDATA:message_content}" 
    }
    # 解析失败时标记日志，方便排查问题
    tag_on_failure => ["_grokparsefailure"]
  }

  # 2. 仅处理成功提取到有效类路径的日志
  if [extracted_class] {
    # 动态创建以类路径为名称的字段，同时转换为整数类型
    mutate {
      add_field => { "%{extracted_class}" => "12345" }
      convert => { "%{extracted_class}" => "integer" }
    }
  }
}

配置细节解释 #

• Grok解析部分：
  这个模式完全适配你的日志格式，其中%{DATA:extracted_class:regex(/^com\.company\..+/)}是核心——它会只捕获以com.company开头的完整类路径（比如你的示例里的com.company.class1.json），避免误抓其他无关内容。如果你的日志时间、级别格式有细微调整，可以微调对应的grok模式（比如TIMESTAMP_ISO8601是否完全匹配你的时间格式）。
• 条件判断：
  用if [extracted_class]过滤掉未成功提取类路径的日志，避免做无效操作，提升处理效率。
• 动态字段创建：
  %{extracted_class}是Logstash的变量引用语法，会自动替换成实际提取到的类路径字符串，这样就能动态生成以类路径为名称的字段，同时通过convert把字段值转换成整数类型。

注意事项 #

• 如果你的类路径包含Elasticsearch不允许的字段名符号（比如/、*、空格等），可以在mutate里加gsub处理，比如：gsub => ["extracted_class", "[/ *]", "_"]，把特殊字符替换成下划线。
• 可以用Logstash自带的grok调试工具（bin/logstash --config.test_and_exit -f your_config.conf）验证你的模式是否能正确解析日志。
• 如果后续需要对这些动态字段做聚合分析，Elasticsearch完全支持带点的字段名，但部分可视化工具可能需要特殊处理，这点可以根据实际使用场景调整。

内容的提问来源于stack exchange，提问作者Kalin Borisov