升级vertx-hazelcast至4.5.11导致获取Hazelcast实例UUID时线程阻塞

核心问题分析 #

升级Vert.x至4.5.11（适配Hazelcast 5.3.5）后出现的两个现象直接相关：

• EventLoop线程阻塞：Vert.x的EventLoop线程在执行MapProxyImpl.entrySet()时被同步阻塞，触发BlockedThreadChecker警告——Hazelcast 5.x的同步查询调用会让EventLoop线程进入park状态，远超Vert.x默认2秒的阻塞阈值。
• 空闲CPU飙升：大量EventLoop线程阻塞会引发线程调度竞争，加上Hazelcast内部查询线程池的负载，导致空闲CPU使用率从10%升至60%。

1. 紧急修复EventLoop阻塞 #

方案A：将Hazelcast调用移至Worker线程 #

Vert.x的Worker线程专门处理阻塞任务，避免占用EventLoop：

// 创建专用Worker线程池（推荐，避免影响其他任务）
WorkerExecutor hazelcastWorker = vertx.createSharedWorkerExecutor("hazelcast-worker-pool", 4);

hazelcastWorker.executeBlocking(promise -> {
    // 原有的entrySet()查询逻辑
    Set<Map.Entry<String, Object>> entries = hazelcastMap.entrySet();
    // 处理并返回结果
    String workerUuid = ...; // 从entries中提取目标值
    promise.complete(workerUuid);
}, asyncResult -> {
    if (asyncResult.succeeded()) {
        // 业务逻辑处理结果
    } else {
        // 处理异常
    }
});

方案B：改用Hazelcast异步API #

Hazelcast 5.x提供异步查询接口，直接返回CompletableFuture，适配Vert.x异步模型：

// 调用异步entrySet接口（或executeQueryAsync）
CompletableFuture<Set<Map.Entry<String, Object>>> hzFuture = hazelcastMap.entrySetAsync();

// 转换为Vert.x Future，在EventLoop异步处理结果
Future.fromCompletionStage(hzFuture, vertx.getOrCreateContext())
    .onSuccess(entries -> {
        // 提取并处理workerInstanceUuid
    })
    .onFailure(error -> {
        // 异常处理
    });

2. 排查并解决CPU飙升问题 #

优化Hazelcast查询性能 #

• 添加索引：如果entrySet()查询隐含Predicate条件，为查询字段添加Hazelcast索引，大幅降低查询延迟：

  // 示例：为查询字段添加排序索引
  hazelcastMap.addIndex(IndexType.SORTED, "targetField");
  

• 避免全量查询：如果是全量遍历Map，考虑分批获取或改用Hazelcast的分页查询API，减少单次查询的资源消耗。

调整线程池配置 #

• Hazelcast查询线程池：修改hazelcast.xml配置，调整查询线程池大小，避免线程竞争：

  <hazelcast>
      <executor-service name="hz:query">
          <pool-size>8</pool-size> <!-- 根据CPU核心数调整，建议4-8 -->
      </executor-service>
  </hazelcast>
  

• Vert.x EventLoop线程数：确保EventLoop线程数匹配CPU核心数（默认是2*CPU核心），避免线程过多导致调度开销：

  Vertx vertx = Vertx.vertx(new VertxOptions().setEventLoopPoolSize(Runtime.getRuntime().availableProcessors() * 2));
  

验证版本兼容性 #

确认vertx-hazelcast 4.5.11与Hazelcast 5.3.5的兼容性，若存在适配问题，可尝试降级Hazelcast至Vertx官方推荐的对应版本。

3. 修复验证 #

• 观察日志，确认BlockedThreadChecker警告消失。
• 监控系统CPU使用率，确认空闲CPU回落至正常范围。
• 通过Micrometer指标（如Hazelcast查询延迟、线程池使用率）验证查询性能。

内容的提问来源于stack exchange，提问作者Saranyadevi M S