NestJS OpenTelemetry通过Telegraf采集指标失败求助

问题根源 #

错误提示second HELP line for metric name "http_server_duration"说明服务输出的Prometheus格式指标中，同一个指标存在多份HELP注释，违反了Prometheus文本格式规范，Telegraf的prometheus插件会严格校验这一点。这通常是因为nestjs-otel重复注册了同一指标（比如模块重复初始化、采集器重复启用）。

解决方案 #

1. 排查NestJS-OTEL的指标注册问题 #

• 确保OpenTelemetryModule.forRoot()仅在根模块导入，子模块不要重复导入该模块
• 检查apiMetrics配置，避免重复开启相同的HTTP指标采集：

  // app.module.ts示例配置
  OpenTelemetryModule.forRoot({
    metrics: {
      apiMetrics: {
        enable: true,
        // 确保没有重复注册http_server_duration相关的指标
        defaultAttributes: {},
        ignoreRoutes: [],
      },
      // 关闭不必要的重复采集器
      defaultMetrics: true,
    },
  }),
  

2. 调整Telegraf Prometheus输入插件的校验规则 #

如果暂时无法修复指标输出问题，可以修改Telegraf配置放宽格式校验：

# 通过telegraf-operator的Annotation配置
annotations:
  telegraf.influxdata.com/inputs: |+
    [[inputs.prometheus]]
      urls = ["http://localhost:8125/metrics"]
      # 使用v2版本的Prometheus格式校验，兼容性更好
      metric_version = 2
      # 忽略解析错误的行，避免整个采集任务失败
      ignore_parse_errors = true

3. 改用OTLP输入插件（推荐方案） #

既然用了OpenTelemetry，直接通过OTLP协议导出指标给Telegraf，从根源避免Prometheus格式兼容问题：

步骤1：修改NestJS-OTEL配置，开启OTLP指标导出

// app.module.ts
OpenTelemetryModule.forRoot({
  metrics: {
    exporter: {
      type: 'otlp',
      options: {
        // Telegraf sidecar的OTLP指标接收地址
        url: 'http://localhost:4318/v1/metrics',
      },
    },
    apiMetrics: { enable: true },
    defaultMetrics: true,
  },
}),

步骤2：配置Telegraf的OTLP输入插件

annotations:
  telegraf.influxdata.com/inputs: |+
    [[inputs.opentelemetry]]
      # 监听OTLP HTTP协议的端口
      service_address = ":4318"
      # 可选：转换为Prometheus格式输出给后端，根据你的需求调整
      metrics_format = "prometheus"

4. 临时修复：用脚本过滤重复HELP行 #

如果以上方案都无法快速落地，可以通过exec插件先预处理指标文本，移除重复行：

annotations:
  telegraf.influxdata.com/inputs: |+
    [[inputs.exec]]
      # 用curl获取指标后，用awk去重
      commands = ["curl -s http://localhost:8125/metrics | awk '!seen[$0]++'"]
      data_format = "prometheus"

内容的提问来源于stack exchange，提问作者Yonatan