如何排查单数据中心Cassandra读取超时及SSL连接重置问题？

一、DC1读取超时（LOCAL_ONE无副本响应）的原因分析 #

• 隐性硬件残留问题：虽然移除了磁盘故障节点，但DC1剩余节点可能存在未排查到的磁盘坏道、RAID降级，或是内存不足引发频繁Full GC、CPU负载过高，导致节点无法及时处理读取请求。
• 节点间通信异常：DC1内部节点网络延迟高、丢包严重，协调器无法在超时窗口内获取副本响应。
• 数据一致性缺失：故障节点移除后，DC1的部分数据副本未完成同步修复，协调器请求的副本数据不存在或未就绪。
• 超时配置不匹配：DC1的read_request_timeout_in_ms配置值小于DC2，当前负载下无法满足请求处理时长需求。

二、DC1出现DC2节点SSL连接重置错误的原因分析 #

• SSL证书信任问题：DC1节点的信任库未包含DC2节点的SSL证书，或证书过期、密钥不匹配，导致DC1验证DC2连接时失败，主动重置连接。
• 跨DC网络限制：DC1到DC2的网络存在防火墙拦截7001端口（SSL通信端口），或网络链路不稳定导致连接中途中断；而DC2到DC1的网络路径正常，因此DC2无相关日志。
• DC1 SSL配置错误：比如启用了双向认证但未正确配置客户端证书，导致处理DC2的连接请求时触发错误。

三、解决建议 #

针对DC1读取超时问题 #

• 硬件状态排查：
  • 用iostat -x 1监控磁盘IO利用率、响应时间，确认是否存在IO瓶颈；
  • 查看GC日志及jstat -gc <pid>输出，检查是否有频繁Full GC导致的服务停顿；
  • 通过top或htop确认CPU负载是否异常偏高。
• 内部网络验证：
  • 用ping、mtr测试DC1节点间的网络延迟和丢包率；
  • 检查7000（非SSL）/7001（SSL）端口是否开放，确保节点间能正常通信。
• 数据一致性修复：
  • 执行nodetool repair -dc DC1 <keyspace-name>对DC1的目标keyspace进行修复，同步副本数据；
  • 用nodetool status确认DC1所有节点状态为UN（Up/Normal）。
• 超时配置调整：
  • 修改cassandra.yaml中的read_request_timeout_in_ms（建议从默认5000ms调整至10000ms），重启节点生效；
  • 业务端可针对特定慢查询设置单独的超时参数。

针对SSL连接重置问题 #

• 证书一致性校验：
  • 对比DC1和DC2节点cassandra.yaml中server_encryption_options的keystore、truststore配置，确认双方证书互相包含；
  • 用keytool -list -v -keystore <keystore-path>检查证书有效期及条目，确保DC1信任库信任DC2节点证书。
• 跨DC网络排查：
  • 确认防火墙双向开放DC1与DC2之间的7001端口；
  • 用nc -zv <dc2-node-ip> 7001测试DC1节点到DC2节点的SSL端口连通性。
• SSL配置修正：
  • 检查server_encryption_options中的require_client_auth，若设为true，需确保DC2节点证书已加入DC1信任库；
  • 重启DC1节点的Cassandra服务，使配置生效。

内容的提问来源于stack exchange，提问作者Solver