You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何让新创建的Datadog Pipeline解析已采集的历史日志?

问题描述

我创建了一个包含单个Grok解析器的Datadog Pipeline,用于解析非JSON格式的日志,其Grok规则如下:

Rule1 %{date("yyyy-MM-dd'T'HH:mm:ss.SSSSSSZZ"):date}\s+%{notSpace:token_1}\s+tomcataccesslogs\s+%{ipv4:network.client.ip}\s+-\s+-\s+[%{date("dd/MMM/yyyy:HH:mm:ss Z"):date_1}]\s+"%{word:http.method}\s+%{notSpace:http.url}\s+HTTP%{notSpace:http.url_1}"\s+%{integer:http.status_code}\s+%{integer:token_2}\s+ms\s+-

Pipeline创建后生成的新日志能被正确解析,但创建前的历史日志无法被解析,请问如何让该Pipeline解析这些历史日志?

解决方法

Datadog的日志Pipeline默认仅处理实时流入的新日志,要让已存在的历史日志被新Pipeline解析,需要使用日志重新处理功能,操作步骤如下:

  • 登录Datadog控制台,进入「日志」页面,通过时间范围筛选、日志来源(比如tomcataccesslogs)等条件,定位到需要重新解析的历史日志集合。
  • 选中目标日志(如果是批量处理,可直接用查询条件匹配所有符合的日志,无需手动逐个选中),点击页面上方的「重新处理」按钮。
  • 在弹出的配置窗口中,选择你创建的包含上述Grok规则的Pipeline,确认执行重新处理任务。
  • 等待任务完成后,历史日志会被该Pipeline重新解析,对应的字段(如network.client.ip、http.method等)会被正确提取。

注意事项

  • 确保历史日志的格式与新日志完全一致,否则需要调整Grok规则适配历史日志格式,避免解析失败。
  • 如果历史日志量较大,可分批次处理,或者提前确认Datadog的日志重新处理配额是否充足(常规使用场景下默认配额足够)。

内容的提问来源于stack exchange,提问作者user1515126

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.13 00:42:34