如何区分同一服务不同实例的指标值？K8s+OTEL场景

我在Kubernetes集群中部署了多组服务，涵盖NodeJS和Java两种技术栈。集群内已部署OTEL Collector，负责向Prometheus提供监控数据，最终通过Grafana做可视化展示。

服务的OTEL配置 #

• Java服务：通过启动参数注入Agent

  -javaagent:/jars/opentelemetry-javaagent.jar
  

• NodeJS服务：通过自定义SDK初始化追踪与指标采集

  const sdk = new NodeSDK({
      // Service name is configured by OTEL_SERVICE_NAME
      traceExporter: new OTLPTraceExporter(),
      metricReader: new PeriodicExportingMetricReader({
          exporter: new OTLPMetricExporter(),
          exportIntervalMillis: 5000,
      }),
      instrumentations: [getNodeAutoInstrumentations()], // 包含http自动埋点
  });
  

• 通用环境变量配置（省略追踪相关冗余配置）：

  OTEL_EXPORTER_OTLP_PROTOCOL=grpc
  OTEL_METRICS_EXPORTER=otlp
  OTEL_SERVICE_NAME=[service name]
  OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector-listens-here:4317
  

指标异常现象 #

所有服务均部署2个及以上Pod，我发现http_server_duration_milliseconds_count指标存在异常：

• 运行5个Pod的Service A，指标图表完全异常；
• 运行2个Pod的Service B，指标在0和高值之间频繁波动；
• 运行3个Pod的Service C，指标同样出现异常。

当前指标可用标签 #

该指标携带的标签如下：

http_flavor 
http_method 
http_route 
http_scheme
http_status_code 
job 
net_host_name 
net_host_port 
net_protocol_name 
net_protocol_version

核心假设与疑问 #

我的假设是：当前指标无法区分不同Pod，所有Pod的指标被合并视为同一来源。比如ServiceA的pod1上报计数1，pod2上报12，之后pod1再上报计数3（新增2次请求），这种情况下会导致数据计算混乱，最终出现异常图表。

请问这个假设是否成立？如果成立，最优解决方案是什么？我自己梳理了几个候选方案：

• 尝试用net_host_ip（预期对应Pod IP）区分，但Java和NodeJS的自动埋点都没有自动设置这个标签；
• 手动添加k8s_pod_name这类K8s原生标签来区分Pod；
• 使用OTEL原生的service.instance.id标签，但该方案目前处于实验阶段。

恳请给出专业建议或说明。

内容的提问来源于stack exchange，提问作者Radek