OpenTelemetry-Prometheus栈指标延迟问题排查求助

核心问题定位 #

你的Prometheus配置里抓取了错误的端口：

• OpenTelemetry Collector的prometheus导出器配置的监听端口是8889（对应你发送的业务指标）
• 但Prometheus的scrape target指向了8888，这个端口是Collector自身的监控指标端口，并非业务指标的导出端点

这就是为什么你能在Collector调试日志里看到指标被累积，但Prometheus始终抓不到目标数据的根本原因。

修复步骤 #

1. 修正Prometheus抓取配置 #

更新prometheus.yml的scrape target为正确的端口：

scrape_configs:
- job_name: 'otel-collector-metrics'
  scrape_interval: 15s  # 1s的抓取间隔过于激进，建议使用默认15s平衡性能与时效性
  static_configs:
  - targets: ['otel-collector:8889']

2. 可选：配置合理的Batch处理器 #

虽然你之前尝试过不同处理器，但可以添加带超时机制的batch处理器，避免指标过度累积：
修改otel-collector-config.yml，补充processor配置并关联到 pipeline：

processors:
  batch:
    send_batch_size: 1000
    send_batch_max_size: 1000
    timeout: 10s  # 强制每10秒发送一次批次，无需等待满批次再导出

service:
  pipelines:
    metrics:
      receivers: [otlp]
      processors: [batch]
      exporters: [logging,prometheus]
  telemetry:
    logs:
      level: "debug"

3. 重启服务生效 #

重新启动相关容器，确保配置更新：

docker-compose restart prometheus otel-collector

验证方法 #

• 直接访问Collector的导出端点：http://<你的Collector服务器IP>:8889/metrics，确认能看到你发送的业务指标
• 在Prometheus的Targets页面（http://<你的Prometheus服务器IP>:9090/targets），检查otel-collector-metrics任务的状态是否为UP
• 等待1-2个抓取间隔后，在Prometheus查询页面搜索你的指标名称，确认数据正常显示

内容的提问来源于stack exchange，提问作者Julie Laporte