Cassandra种子节点重启后客户端连接自动重平衡方案咨询

问题描述 #

重启某一Cassandra种子节点时，其所有客户端连接会按预期重新分配至其他节点，但该节点恢复后，入站连接无法回到原有水平，导致其他节点负载略增，产生约10%的性能影响。重启客户端应用可解决此问题。

请问是否可在无需重启客户端的情况下，实现一段时间（如1小时）后的自动客户端连接重平衡？

当前环境 #

• 4个种子节点
• Java驱动版本：com.datastax.oss:java-driver-bom:4.15.0
• Cassandra版本：Cassandra 4.0.7
• 负载均衡策略：DcInferringLoadBalancingPolicy

附节点重启情况图表：

解决方案 #

可以实现无需重启客户端的自动连接重平衡，以下是具体方案：

1. 调整Java驱动配置，优化节点探测与重连逻辑 #

DcInferringLoadBalancingPolicy基于DCAwareRoundRobinPolicy实现，默认节点拓扑刷新间隔较长，可通过配置缩短周期，让驱动及时发现恢复的节点：

在驱动配置文件（如application.conf）中添加/修改以下参数：

datastax-java-driver {
  basic.load-balancing-policy {
    class = DcInferringLoadBalancingPolicy
    local-datacenter = "your_datacenter_name" # 建议明确指定DC，替代自动推断，提升可靠性
  }
  metadata {
    max-refresh-delay = 1m  # 最大节点拓扑刷新间隔，从默认30分钟缩短至1分钟
    min-refresh-delay = 10s # 最小刷新间隔
  }
  advanced.reconnection-policy {
    class = ConstantReconnectionPolicy
    delay = 10s # 定期尝试重连已标记为不可用的节点
  }
  advanced.control-connection {
    refresh-node-list-interval = 1m # 控制连接定期刷新节点列表
  }
}

修改配置后无需重启客户端，驱动会自动加载新配置（若使用动态配置加载），或在下次连接初始化时生效。

2. 主动触发节点拓扑刷新（代码层面） #

通过驱动API主动触发节点拓扑刷新，结合定时任务实现指定时间后的自动重平衡：

import com.datastax.oss.driver.api.core.CqlSession;
import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;

public class ConnectionRebalancer {
    private final CqlSession session;
    private final ScheduledExecutorService scheduler = Executors.newSingleThreadScheduledExecutor();

    public ConnectionRebalancer(CqlSession session) {
        this.session = session;
        // 首次延迟1小时启动，之后每隔1小时执行一次刷新
        scheduler.scheduleAtFixedRate(this::refreshNodeTopology, 1, 1, TimeUnit.HOURS);
    }

    private void refreshNodeTopology() {
        // 同步刷新节点元数据，驱动会重新发现可用节点并调整连接分配
        session.getMetadata().refreshNodes().join();
    }

    // 应用关闭时调用，释放资源
    public void shutdown() {
        scheduler.shutdown();
    }
}

在应用初始化时实例化该类，即可实现定时自动刷新，无需重启客户端。

3. 优化Cassandra节点的状态传播配置 #

确保Cassandra节点恢复后能快速通过Gossip协议广播可用状态，调整cassandra.yaml中的以下参数：

# 缩短Gossip消息发送间隔，加快状态传播
gossip_interval_in_ms: 1000
# 缩短Gossip超时时间
gossip_timeout_in_ms: 5000
# 确保广播地址配置正确
broadcast_address: <节点公网/集群内可达地址>
listen_address: <节点内网地址>
endpoint_snitch: GossipingPropertyFileSnitch

修改后重启Cassandra节点，提升状态同步效率。

4. 验证重平衡效果 #

可通过以下方式验证：

• 驱动Metrics：监控node.connections指标，查看恢复节点的连接数是否逐步回升
• Cassandra工具：执行nodetool netstats查看节点入站连接数，nodetool status确认节点状态为UN（Up/Normal）

内容的提问来源于stack exchange，提问作者Nicolas Henneaux