如何调试并列出K8s集群中OpenTelemetry抓取的所有目标

一、列出OpenTelemetry检测到的所有目标 #

• 通过OTel Collector调试端点查看
  确保Collector开启了调试端口（默认8888），执行以下命令获取所有目标：

  curl http://<otel-collector-ip>:8888/targets
  

  该接口会返回所有发现的抓取目标，包含目标状态、所属Job、最后抓取时间等信息，可直接核对MYAPP Job下的目标是否完整。

• 查看Collector调试日志
  将Collector日志级别调整为debug，在配置文件的service段添加：

  service:
    telemetry:
      logs:
        level: debug
  

  重启Collector后，日志会输出服务发现的完整流程，包括发现的Pod列表、Relabel规则处理后的目标地址，能直接定位哪些Pod被过滤或未被发现。

二、排查指标抓取是否正常 #

• 手动验证目标端点可用性
  直接模拟抓取请求，确认目标服务的metrics端点正常：

  curl http://<pod-ip>:3000/metrics
  

  若返回正常则服务端无问题；若超时或报错，需排查网络策略、Pod端口暴露规则。

• 分析Collector自身监控指标
  访问Collector的/metrics端点，重点关注以下指标：

  • otelcol_receiver_scrape_requests_total：总抓取请求数
  • otelcol_receiver_scrape_requests_failed_total：失败抓取请求数
  • otelcol_receiver_scrape_duration_seconds：单请求抓取耗时
    通过这些指标可统计抓取成功率，定位频繁失败的目标。

• 验证Relabel规则有效性
  使用otelcontribcol的Relabel测试功能，模拟规则执行过程：

  1. 准备包含Pod元数据的测试文件test-labels.yaml：

     - labels:
         __meta_kubernetes_namespace: myapp-prod
         __meta_kubernetes_pod_name: myapp-xyz-123
         __meta_kubernetes_pod_ip: 10.0.0.5
         __meta_kubernetes_pod_container_image: myapp:v1
         __meta_kubernetes_pod_container_name: myapp
     

  2. 执行测试命令：

     otelcontribcol relabel test --config=your-collector-config.yaml --target-labels=test-labels.yaml
     

  查看输出结果，确认__address__是否正确设置为10.0.0.5:3000，以及其他标签是否符合预期，排查是否有规则误过滤了Pod。

三、随机丢指标的额外排查点 #

• 检查K8s API Server访问限制
  OTel通过K8s API发现Pod，若API Server有QPS限制，可能导致服务发现不完整。查看Collector日志中是否有API访问报错，或调整K8s SD配置的QPS和Burst值：

  kubernetes_sd_configs:
  - role: pod
    qps: 50
    burst: 100
  

• 确认Pod状态与就绪性
  检查丢指标的Pod是否处于Running状态，就绪探针是否正常。OTel默认仅发现就绪状态的Pod，若就绪探针失败，Pod会被排除在目标列表外。

• 调整抓取超时与间隔
  当前scrape_interval为10s，针对100+服务可能导致Collector压力过大。建议设置scrape_timeout为小于抓取间隔的值（如8s），避免超时导致指标丢失：

  scrape_timeout: 8s
  

内容的提问来源于stack exchange，提问作者dash1e