Logstash/Grok问题：mutate添加的dagid字段未替换为实际值

问题核心 #

你遇到的%{dag_id}未被替换为实际值，大概率是grok过滤器未成功提取出dag_id字段——尽管你测试过Grok模式，但实际运行时日志的path字段格式可能和测试样本不一致，导致grok匹配失败，dag_id字段不存在，mutate就会原样输出占位符。

排查与解决方案 #

1. 先验证grok是否成功提取字段 #

添加stdout输出确认事件中是否存在目标字段：

output {
  stdout { codec => rubydebug }
}

运行Logstash后查看控制台输出：

• 如果没有dag_id字段，说明grok匹配失败，需核对实际path的格式与你的Grok模式是否匹配（比如是否有多余目录、大小写差异、未匹配的前缀斜杠等）。
• 如果存在dag_id字段，继续下一步操作。

2. 修正字段赋值逻辑（若字段存在但未替换） #

如果确认dag_id存在，但mutate仍未替换占位符，可尝试两种方案：

方案一：用ruby过滤器直接赋值

filter {
    grok {
        match => { "path" => "%{WORD:opt}/%{WORD:fps2}/%{WORD:airflow}/%{WORD:logs}/%{WORD:dag_id}/%{WORD:task_id}/%{GREEDYDATA:execution_date}/%{WORD:try_number}" }   
    } 
    ruby {
        code => "event.set('dagid', event.get('dag_id'))"
    }
}

方案二：调整字段引用格式

改用明确的字段路径引用方式：

mutate {
    add_field => { "dagid" => "%{[dag_id]}" } 
}

3. 额外排查点 #

• 查看Logstash运行日志（默认路径/var/log/logstash/logstash-plain.log），确认是否有grok匹配失败的报错信息。
• 检查path字段的实际值：如果是绝对路径（比如/opt/xxx/...），你的Grok模式需要补上开头的斜杠，调整为/%{WORD:opt}/%{WORD:fps2}/...。

内容的提问来源于stack exchange，提问作者Rajendra Koduru