OpenTelemetry Collector无法将Logback日志导出至Datadog问题排查

核心问题分析 #

你的配置存在两个关键遗漏：

1. OTel Collector的logs管道未将datadog加入导出器列表，导致日志仅输出到本地文件和控制台，未发送至Datadog。
2. Logback日志中的traceId/spanId仅以文本形式存在于日志消息中，未作为结构化属性传递，Datadog无法自动识别关联到Trace。

具体修复步骤 #

1. 更新OTel Collector配置，添加Datadog日志导出 #

修改otel-collector-config.yaml的service.pipelines.logs部分，将datadog加入exporters：

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [datadog, logging, file]
    metrics:
      receivers: [otlp]
      processors: [batch]
      exporters: [datadog, logging, file]
    logs:
      receivers: [otlp]
      processors: [batch]
      exporters: [datadog, logging, file]  # 新增datadog导出器

2. 配置Logback OpenTelemetry Appender，传递结构化Trace属性 #

确保logback-spring.xml中正确配置OpenTelemetry Appender，让traceId/spanId以结构化属性而非纯文本形式被采集：

<configuration>
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} traceId: %X{traceId} spanId: %X{spanId} - %msg%n</pattern>
        </encoder>
    </appender>

    <appender name="OTEL" class="io.opentelemetry.contrib.logback.appender.OpenTelemetryAppender">
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
        <!-- 配置服务名称，确保Datadog识别服务上下文 -->
        <otelResourceAttributes>service.name=your-service-name</otelResourceAttributes>
    </appender>

    <root level="ERROR">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="OTEL"/>
    </root>
</configuration>

注意：Spring Cloud Sleuth会自动将traceId/spanId注入MDC，OpenTelemetry Appender会读取这些MDC值并转换为OTel日志属性。

3. 添加Collector属性处理器，映射OTel字段到Datadog格式 #

Datadog要求Trace关联字段为dd.trace_id和dd.span_id，需在Collector中添加属性映射处理器：
修改otel-collector-config.yaml的processors部分：

processors:
  batch:
  attributes/logs:
    actions:
      - key: dd.trace_id
        from_attribute: trace_id
        action: insert
      - key: dd.span_id
        from_attribute: span_id
        action: insert

然后更新logs管道，应用该处理器：

logs:
  receivers: [otlp]
  processors: [batch, attributes/logs]  # 新增attributes/logs处理器
  exporters: [datadog, logging, file]

4. 验证配置效果 #

• 重启OTel Collector和Spring Boot应用
• 触发日志输出后，查看Collector的debug日志，确认日志被成功发送至Datadog
• 在Datadog平台：
  1. 进入Logs页面，筛选对应服务，检查日志是否包含dd.trace_id和dd.span_id字段
  2. 进入APM > Traces，打开任意Trace详情，查看是否关联到对应日志

内容的提问来源于stack exchange，提问作者Sumit Desai