Datadog trace.grpc.server.hits指标是否可靠？数据丢失排查求助

可用于监控数据点丢失的Datadog指标 #

• datadog.trace.agent.traces_received：Datadog Agent接收到的追踪数据总条数
• datadog.trace.agent.traces_sent：Agent成功发送至Datadog后端的追踪数据条数
• datadog.trace.agent.traces_dropped：Agent主动丢弃的追踪数据条数（原因可能包括队列溢出、数据格式错误等）
• datadog.trace.agent.spans_received/datadog.trace.agent.spans_sent/datadog.trace.agent.spans_dropped：针对Span级别的接收、发送、丢弃统计，gRPC请求会生成对应Span，可通过这类指标对比请求与上报的差异

补充排查要点 #

1. 查看Datadog Agent日志，搜索dropped、error、queue full等关键词，定位追踪数据被丢弃的具体原因
2. 验证gRPC服务的Instrumentation配置：确认dd-trace-ot或dd-trace-api依赖版本与Spring Boot、gRPC版本兼容，且已开启gRPC自动埋点
3. 检查EKS集群网络连通性：通过datadog.agent.connection.status指标确认Agent与Datadog后端的连接状态，排查是否存在网络丢包或延迟过高的情况
4. 排除批量上报延迟影响：Agent会批量发送追踪数据，短时间内的请求可能存在指标上报延迟，可扩大时间范围对比日志与指标的统计结果

内容的提问来源于stack exchange，提问作者Erjia Li