如何通过Datadog Agent合并多行XML日志并去除重复前缀

要解决XML内容过长导致的拆分日志合并问题，只需修改Datadog Agent的日志采集配置文件（通常路径为conf.d/<你的日志采集源>.d/conf.yml），添加多行合并规则和日志内容重写规则：

1. 配置多行合并规则 #

在logs条目下添加multiline配置，识别拆分日志的重复时间前缀并合并到上一行：

logs:
  - type: file
    path: /实际的应用日志路径/application.log
    service: 你的服务名称
    source: 你的应用标识
    # 多行合并规则
    multiline:
      # 匹配日志行开头的时间前缀格式
      pattern: '^\[\d{2}/\d{2}/\d{4} \| \d{2}:\d{2}:\d{2}\.\d{6}\] \| '
      negate: true
      match: after

参数说明：

• pattern：正则精准匹配你的日志时间前缀格式，确保和实际日志的前缀完全一致
• negate: true：表示匹配到该前缀的行不作为独立日志条目
• match: after：将匹配到的行合并到上一行的末尾

2. 去除第二行的重复前缀 #

在同一logs条目下添加log_processing_rules，移除合并后日志中的重复时间前缀：

# 日志内容重写规则
    log_processing_rules:
      - type: mask_rewrite
        name: remove_duplicate_prefix
        pattern: '^\[\d{2}/\d{2}/\d{4} \| \d{2}:\d{2}:\d{2}\.\d{6}\] \| '
        replace_placeholder: ''

3. 生效配置 #

修改完成后，重启Datadog Agent使配置生效：

# Linux系统示例
sudo systemctl restart datadog-agent

可以通过datadog-agent status命令检查日志采集模块的状态，验证配置是否正常工作。

内容的提问来源于stack exchange，提问作者Matasas