基于Grafana/Prometheus/Tempo获取HTTP请求统计方案咨询

一、补全HTTP请求指标（无需修改代码） #

1. 强化OpenTelemetry Java Agent配置 #

OpenTelemetry Java Agent原生支持自动采集HTTP请求指标，你之前可能未开启相关配置，只需调整启动参数或配置文件：

• 启用HTTP指标采集：添加启动参数 -Dotel.instrumentation.http.enabled=true，同时配置指标通过OTel Collector中转导出到Prometheus
• 开启服务端HTTP指标：添加 -Dotel.instrumentation.http.server.metrics.export=true，可采集请求数、错误数、耗时分位数等数据，且自动关联Kubernetes Deployment维度，直接在Prometheus中做聚合查询
• 常用指标示例：http_server_requests_total（按状态码、端点、服务标签聚合）、http_server_duration_seconds_bucket（用于计算P95/P99耗时）

2. 备选：Envoy Sidecar代理采集 #

若OTel Agent自动采集不符合需求，可给每个Java Deployment注入Envoy Sidecar：

• 配置Envoy暴露Prometheus指标端点，采集所有进出的HTTP请求数据
• 通过Kubernetes ServiceMonitor自动发现Envoy的指标端点，将数据导入Prometheus
• 优势：无需修改应用或Agent配置，统一管控所有HTTP流量；劣势：增加Sidecar资源开销

二、链路追踪与日志关联（自动注入Trace ID） #

1. 配置OTel Agent自动注入Trace ID到日志MDC #

Java应用的Logback、Log4j等日志框架支持MDC（映射诊断上下文），OTel Agent可自动将Trace ID、Span ID注入MDC：

• 针对Logback添加启动参数：-Dotel.instrumentation.logback-appender.enabled=true；针对Log4j添加：-Dotel.instrumentation.log4j-appender.enabled=true
• 修改日志格式，在Pattern中加入 %X{traceId} 和 %X{spanId}，比如Logback的Pattern配置：%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - traceId:%X{traceId} spanId:%X{spanId} - %msg%n
• 配置完成后，Promtail采集的日志会包含Trace ID，后续可在Grafana中通过Trace ID关联Tempo链路数据与Loki日志

2. 关联验证操作 #

在Grafana配置好Tempo和Loki数据源后：

• 从Tempo链路面板点击Trace ID，可直接跳转到Loki查询该Trace ID对应的所有日志
• 从Loki日志中提取Trace ID，点击可跳转至Tempo查看完整链路详情

三、简化链路数据聚合（替代直接查询Tempo） #

若不想直接处理Tempo的追踪数据结构，可通过OTel Collector将链路Span转换为聚合指标：

• 配置OTel Collector的 spanmetrics 处理器，将链路数据聚合为HTTP请求指标（请求数、耗时、错误数等）
• 聚合后的指标直接导出到Prometheus，和其他指标统一管理，无需直接查询Tempo
• Collector配置示例片段：

processors:
  spanmetrics:
    metrics_exporter: prometheus
    latency_histogram_buckets: [10ms, 100ms, 500ms, 1s, 5s]
    dimensions:
      - name: http.method
      - name: http.status_code
      - name: http.target

内容的提问来源于stack exchange，提问作者barmanthewise