使用OTEL_EXPORTER_OTLP_METRICS_HEADERS结合prometheusremotewrite实现多租户采集可行吗？

这个多租户方案完全可行，你的配置没生效是因为OpenTelemetry Collector默认不会自动将OTLP请求头传递给prometheusremotewrite导出器，需要通过处理器提取请求头并在导出器中动态引用。

问题原因 #

你在应用侧设置的OTEL_EXPORTER_OTLP_METRICS_HEADERS确实会随OTLP请求发送到Collector，但Collector不会主动将这些头信息转发给Cortex后端。当前配置中，prometheusremotewrite导出器没有携带任何认证头，导致Cortex可能拒绝写入请求，而如果Collector日志级别不够，你看不到具体的认证错误。

解决配置示例 #

修改你的Collector配置，添加头信息提取和动态引用逻辑：

# otel-collector-config.yaml
receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317
      http:
        endpoint: 0.0.0.0:4318

processors:
  batch:
  # 提取OTLP请求中的Authorization头
  transform:
    error_mode: ignore
    metric_statements:
      - context: resource
        statements:
          # 处理HTTP协议的请求头（键为小写）
          - set(attributes["authorization"], resource.attributes["http.request.headers.authorization"]) where exists(resource.attributes["http.request.headers.authorization"])
          # 处理gRPC协议的元数据（键为小写）
          - set(attributes["authorization"], resource.attributes["grpc.request.metadata.authorization"]) where exists(resource.attributes["grpc.request.metadata.authorization"])

exporters:
  prometheusremotewrite:
    endpoint: "https://<cortex_endpoint>/api/prom"
    external_labels:
      team: foo
      env: bar
    # 动态引用提取到的Authorization头
    headers:
      Authorization: "${resource.attributes.authorization}"

service:
  pipelines:
    metrics:
      receivers: [otlp]
      processors: [batch, transform]
      exporters: [prometheusremotewrite]
  # 可选：开启调试日志排查问题
  telemetry:
    logs:
      level: debug

关键说明 #

• 版本要求：确保你的OpenTelemetry Collector版本在v0.68.0及以上，该版本开始支持在导出器headers中使用模板变量引用资源属性。
• 头信息大小写：HTTP请求头和gRPC元数据在Collector中会被转为小写存储，所以提取时要使用http.request.headers.authorization而非Authorization。
• 调试日志：开启调试日志后，可以查看请求是否到达Collector、头信息是否被正确提取，以及导出器发送请求时的头内容，方便排查问题。

验证方法 #

1. 重启Collector应用新配置
2. 保持应用侧的OTEL_EXPORTER_OTLP_METRICS_HEADERS环境变量不变
3. 查看Cortex后端是否接收到带正确Authorization头的写入请求，以及指标是否成功写入对应租户空间

内容的提问来源于stack exchange，提问作者Justin Desilets