使用Hazelcast时出现线程阻塞问题（Vert.x+RxJava环境Kubernetes部署异常）

从你的日志和代码来看，问题的核心是在Vert.x的事件循环线程上调用了阻塞式的Future.get()，导致触发了Vert.x的BlockedThreadChecker警告。本地Docker Compose环境下没出现问题，是因为本地网络延迟极低，Future很快就完成了，阻塞时间没超过Vert.x默认的2000ms阈值；而Kubernetes环境中，Hazelcast集群成员间的网络延迟更高，或者调用耗时更长，导致阻塞时间超过阈值触发警告。

根本原因分析 #

你的代码里用了Completable.fromFuture(cache.submitToKey(...).toCompletableFuture())，RxJava的Completable.fromFuture会在当前线程（也就是Vert.x的事件循环线程）上调用Future.get()，这是一个阻塞操作。Vert.x的事件循环线程是单线程、非阻塞设计的，任何阻塞操作都会拖慢整个事件循环，甚至导致服务不可用。

解决方案 #

1. 使用Vert.x的Worker线程池执行阻塞操作 #

最直接的解决方式是把Hazelcast的submitToKey调用放到Vert.x的worker线程池中执行，避免阻塞事件循环。你可以用Vert.x的executeBlockingAPI配合RxJava：

import io.vertx.reactivex.core.Vertx;

private Completable handleUpdates(String id, Analysis analysis, Vertx vertx) {
    // 用rxExecuteBlocking将阻塞操作委托给worker线程
    return vertx.rxExecuteBlocking(promise -> {
        // 在worker线程中执行Hazelcast的异步调用
        cache.submitToKey(id, new AnalysisEntryProcessor(analysis))
            .whenComplete((result, throwable) -> {
                if (throwable != null) {
                    promise.fail(throwable);
                } else {
                    promise.complete();
                }
            });
    }).ignoreElement(); // 转换成Completable
}

这样，Hazelcast的Future内部阻塞逻辑会在worker线程中执行，不会占用事件循环线程的资源。

2. 优化Hazelcast集群在K8s中的配置 #

虽然上面的方法能解决阻塞警告，但你也需要排查K8s环境下Hazelcast集群的通信是否正常：

• 确认Hazelcast的Kubernetes服务发现配置正确（比如使用hazelcast-kubernetes插件），确保成员之间能正常通信。
• 检查K8s的网络策略，是否允许Hazelcast成员间的端口通信（默认是5701）。
• 查看Hazelcast的日志，确认submitToKey的调用是否真的能正常完成，有没有出现超时或者成员通信失败的情况。

3. 直接基于回调构建RxJava Completable #

如果你不想依赖worker线程，也可以直接使用Hazelcast的异步回调，绕开阻塞的get()调用，直接构建RxJava Completable：

private Completable handleUpdates(String id, Analysis analysis) {
    return Completable.create(emitter -> {
        cache.submitToKey(id, new AnalysisEntryProcessor(analysis))
            .whenComplete((result, throwable) -> {
                if (throwable != null) {
                    emitter.onError(throwable);
                } else {
                    emitter.onComplete();
                }
            });
    });
}

这种方式完全是非阻塞的，直接通过Hazelcast的回调触发Completable的完成或错误信号，不会占用事件循环线程的阻塞时间。

为什么之前的尝试无效？ #

• 设置-Djava.util.concurrent.ForkJoinPool.common.parallelism=1：Hazelcast的submitToKey内部并不依赖ForkJoinPool，所以这个配置对它没有影响。
• 更换Hazelcast版本：问题的根源是事件循环线程被阻塞，和Hazelcast版本无关，所以换版本无法解决。
• 提升CPU配额：你的问题不是CPU资源不足，而是事件循环线程被阻塞，所以提升CPU配额无法解决核心问题。

内容的提问来源于stack exchange，提问作者horak90