Kafka消费者非本地环境报Disconnected (in state UP)错误原因排查

你遇到的是confluent-kafka底层依赖的librdkafka库抛出的broker连接断开日志，日志含义为：消费者与地址为ssl://kafka-events:11101/12101的broker的连接在正常运行684744ms（约11.4分钟）后被非正常断开。本地运行正常可排除代码逻辑问题，问题均来自部署环境与本地环境的配置/网络差异。

常见的触发原因共4类：

1. 部署环境到Kafka broker的网络链路存在防火墙、安全组、网关代理的闲置连接回收策略，长连接无流量时被主动断开
2. 部署环境的SSL证书配置错误、证书过期或者权限不足，导致SSL会话到期后无法续期，连接被broker中断
3. 消费者配置的会话超时时间过短，部署环境网络延迟高于本地，心跳包无法按时发送到broker，被broker判定为消费者下线，主动断开连接
4. Kafka集群侧配置了IP白名单、消费组限流策略，未将部署环境IP加入白名单，或者对应消费组触发限流被强制断开连接

• 首先验证基础网络连通性：在部署环境执行telnet kafka-events 11101确认端口可通，再执行openssl s_client -connect kafka-events:11101验证SSL握手正常，排除DNS解析错误、防火墙拦截问题
• 对比本地和部署环境的消费者配置：重点核对ssl.ca.location、ssl.certificate.location、ssl.key.location三个SSL配置的文件路径、权限、证书版本是否和本地一致；如果部署环境网络延迟较高，将session.timeout.ms调至30000以上，heartbeat.interval.ms设为会话超时的1/3，避免心跳超时
• 联系Kafka集群管理员确认：是否开启了IP白名单限制，部署环境的出口IP是否在白名单内；是否配置了TCP长连接超时回收策略，超时时间是否短于消费者的连接闲置时间
• 开启底层调试日志定位：在消费者配置中新增'debug': 'security,broker'参数，重启消费者后查看详细日志，确认断开连接前是否有SSL握手失败、心跳发送失败的报错，进一步定位触发点

内容的提问来源于stack exchange，提问作者Leorfk