双向GRPC通道每1分钟触发CANCELLED错误，求长连接解决方案

根据你提供的错误栈和代码，双向GRPC流每分钟断开的核心原因是HTTP/2连接空闲超时，结合GRPC默认配置和Databricks/AWS的网络环境限制，具体分析和修复方案如下：

一、核心原因分析 #

1. GRPC默认无心跳配置：GRPC基于HTTP/2，默认未开启keepalive心跳，当流长时间空闲（仅发送一条就绪消息后无后续数据），网络中间件（如AWS NAT网关、Databricks集群网络代理）会因空闲超时主动断开连接，触发RST_STREAM错误。
2. 客户端代码潜在循环风险：客户端onNext方法中直接调用inspectCommandStreamObserver.onNext(response)，会导致服务端发消息后客户端立即回发，若业务无此需求，可能引发不必要的流交互甚至协议错误。
3. 服务端锁冗余：使用ConcurrentHashMap的同时额外加synchronized (lock)，属于冗余同步，虽不直接导致超时，但会降低并发性能。

二、具体修复方案 #

1. 配置GRPC Keepalive心跳（客户端+服务端） #

服务端配置修改：

在ServerBuilder中添加keepalive参数，维持空闲连接：

server = ServerBuilder.forPort(GRPC_SERVER_PORT)
        .addService(ServerInterceptors.intercept((BindableService) new GrpcServiceImpl(), new AuthServerInterceptor()))
        // 每30秒发送一次心跳
        .keepAliveTime(30, TimeUnit.SECONDS)
        // 心跳超时时间5秒
        .keepAliveTimeout(5, TimeUnit.SECONDS)
        // 允许无业务请求时发送心跳
        .permitKeepAliveWithoutCalls(true)
        .build().start();

客户端配置修改：

在ManagedChannelBuilder中添加对应keepalive参数，与服务端匹配：

ManagedChannel channel = ManagedChannelBuilder.forAddress(SERVER_HOST, SERVER_PORT)
        .useTransportSecurity()
        .intercept(new AuthClientInterceptor(authToken))
        .enableRetry()
        .maxRetryAttempts(2)
        // 每25秒发送一次心跳（略小于服务端超时）
        .keepAliveTime(25, TimeUnit.SECONDS)
        // 心跳超时时间5秒
        .keepAliveTimeout(5, TimeUnit.SECONDS)
        // 允许无业务请求时发送心跳
        .keepAliveWithoutCalls(true)
        .build();

2. 修复客户端循环发送问题 #

若业务逻辑无需在收到服务端消息后立即回发，移除inspectCommandStreamObserver.onNext(response)；若确实需要回发，需确保逻辑不会引发无限循环：

@Override 
public void onNext(InspectCommand inspectCommand){
    try{
        // 仅处理业务逻辑，无需主动回发（除非有明确业务需求）
        // inspectCommandStreamObserver.onNext(response); // 移除或调整逻辑
    }catch(IOException | ClassNotFoundException e){
        throw new RuntimeException(e);
    }
}

3. 优化服务端线程安全实现 #

移除ConcurrentHashMap上的冗余synchronized锁，利用其本身的线程安全特性：

@Override 
public void onNext(InspectCommand command){
    // 移除synchronized (lock)
    inspectCommandStreamObservers.put(command.getHttpSessionId(), responseObserver);
    
    if(mvcResponseObservers.containsKey(command.getCommandId())){
        LOGGER.info("Returning response to MVC");
        StreamObserver<DynamicMethodResponse> observer = mvcResponseObservers.remove(command.getCommandId());
        observer.onNext(DynamicMethodResponse.newBuilder().setInspectCommandResponse(command.getCommand()).build());
        observer.onCompleted();
    }
}

4. 检查网络层超时设置 #

• AWS EC2：检查NAT网关、负载均衡（若使用）的空闲超时设置，确保其值大于GRPC keepalive间隔（建议设置为5分钟以上）。
• Databricks集群：确认集群的网络代理、防火墙规则没有限制长连接的空闲时间，必要时联系Databricks支持调整配置。

三、验证步骤 #

1. 重启GRPC服务端和客户端，建立连接后观察是否还会每分钟断开。
2. 开启GRPC debug日志（添加JVM参数-Dgrpc.debug=true），确认心跳包正常发送。

内容的提问来源于stack exchange，提问作者Akk