Thanos Query中Sidecar状态健康但查询报grpc连接关闭错误，如何排查

• 移除重复的固定IP存储配置：当前配置同时存在Sidecar的DNS服务发现规则dnssrv+_grpc._tcp.thanos-sidecar-self.monitoring.svc.cluster.local和固定IP配置--store=10.0.66.140:10901，Sidecar Pod重建后IP会发生变化，固定IP的配置会指向旧的无效实例，导致请求超时连接断开，建议删除固定IP的--store启动参数，完全依赖K8s内部DNS服务发现对接Sidecar。
• 调整gRPC超时参数：当前未配置gRPC调用超时，默认超时时间较短，大时间范围查询、数据量较大的场景下很容易触发超时，可添加启动参数--store.grpc.timeout=15s，根据实际查询场景调整超时时长。
• 开启gRPC连接保活：如果集群存在网络策略、服务网格或者其他中间件会主动断开空闲的gRPC长连接，可添加以下启动参数开启gRPC心跳保活：

  --store.grpc.keepalive-time=30s
  --store.grpc.keepalive-timeout=10s
  

• 检查Sidecar运行状态：确认Sidecar实例的CPU、内存资源是否足够，是否存在OOM重启、CPU限流的情况，Sidecar负载过高时无法及时响应gRPC请求，会导致Query端判定连接超时主动断开。
• 校验组件版本兼容性：当前Thanos Query版本为v0.22.0，需确认Sidecar的版本与Query版本保持一致，跨大版本的gRPC API不兼容也会导致连接异常错误。
• 调整Query并发配置：默认的查询并发数限制较低，请求量较高时会出现排队超时，可添加启动参数--query.max-concurrent=20，根据集群资源情况调整并发处理上限。

内容的提问来源于stack exchange，提问作者moweiraul