Kubernetes API发现策略下Hazelcast集群启动时Pod无法互发现

你遇到的是典型的Kubernetes API发现竞态条件：多个Pod同时启动时，Kubernetes API还未完成新Pod信息的集群同步，导致每个Pod调用API时只能获取到自身信息，进而形成独立小集群；而单个Pod重启时，已有节点的信息已存在于API中，新Pod能正常发现并加入集群。

以下是具体解决措施：

• 调整Kubernetes API发现的等待与重试参数
  在Spring Boot配置中增加延迟等待和重试次数，让Hazelcast在启动发现流程前，等待K8s API完成Pod信息同步：

  # 等待K8s API就绪的时长（秒）
  hazelcast.kubernetes.wait-time-seconds=30
  # 重试获取Pod列表的次数
  hazelcast.kubernetes.retry-count=10
  # 每次重试的间隔（秒）
  hazelcast.kubernetes.retry-interval-seconds=5
  

• 延迟Hazelcast集群初始化
  通过Spring Boot启动钩子延迟Hazelcast实例初始化，确保Pod已被K8s API注册：

  @Configuration
  public class HazelcastConfig {
      @Bean
      @DependsOn("kubernetesPodReady")
      public HazelcastInstance hazelcastInstance() {
          Config config = new Config();
          // 配置Kubernetes发现策略
          DiscoveryConfig discoveryConfig = config.getNetworkConfig().getJoin().getDiscoveryConfig();
          discoveryConfig.addDiscoveryStrategyConfig(new KubernetesDiscoveryStrategyConfig());
          return Hazelcast.newHazelcastInstance(config);
      }
  
      @Bean(name = "kubernetesPodReady")
      public Boolean kubernetesPodReady() throws InterruptedException {
          // 等待30秒，确保Pod完成K8s API注册
          TimeUnit.SECONDS.sleep(30);
          return true;
      }
  }
  

• 配置Pod就绪探针
  在Kubernetes Deployment中添加就绪探针，仅当Hazelcast成功加入集群（或完成节点发现）后，才标记Pod为就绪，避免新Pod被调度后立即参与集群交互：

  readinessProbe:
    exec:
      command:
      - curl
      - http://localhost:5701/hazelcast/health/node-state
    initialDelaySeconds: 45
    periodSeconds: 10
    failureThreshold: 3
  

  注：需提前开启Hazelcast REST端点，可通过配置hazelcast.rest.enabled=true实现。

• 延长集群加入超时时间
  增加Hazelcast集群等待节点加入的超时窗口，给节点足够时间完成发现流程：

  hazelcast.cluster.join.timeout.seconds=120
  

内容的提问来源于stack exchange，提问作者Lior Derei