GRPC-Web流异常：仅在流关闭时接收数据

问题背景 #

基于Java Spring Boot搭建的gRPC后端，提供Connect流式接口向客户端推送数据：

• 通过Postman调用时，每2秒能正常接收一条数据
• Web客户端通过Envoy代理调用时，只能在服务器关闭流后一次性获取所有数据

以下是具体排查线索：

1. 检查gRPC-Web客户端请求头 #

确保客户端发送请求时携带X-Accept-Response-Streaming: true请求头，该头是gRPC-Web流式传输的核心标识，用于告知Envoy和后端需要分块返回数据。可通过浏览器开发者工具的Network面板查看请求头是否存在。

2. 验证Envoy配置细节 #

虽然已启用grpc_web过滤器，但需确认：

• 过滤器顺序：grpc_web必须在cors和router之前（当前配置顺序正确，可再次核对）
• 禁用响应长度强制设置：在http_connection_manager的typed_config中添加always_set_put_response_content_length: false，避免Envoy强制设置Content-Length导致数据被缓存。

3. 修复后端流量控制逻辑 #

当前后端代码中使用Thread.sleep()阻塞线程+循环等待isReady()的逻辑存在问题：

• isReady()仅反映当前时刻的流状态，发送数据后流可能再次变为未就绪，未重新检查
• 正确做法是注册onReadyHandler，当流就绪时再发送下一条数据，避免阻塞线程导致数据缓冲：

@SneakyThrows
@Override
public void connect(SSEConnectionRequest request, StreamObserver<SSEMessageResponse> responseObserver) {
    ServerCallStreamObserver<SSEMessageResponse> newObserver = (ServerCallStreamObserver<SSEMessageResponse>) responseObserver;
    AtomicInteger counter = new AtomicInteger(0);

    newObserver.setOnReadyHandler(() -> {
        while (newObserver.isReady() && counter.get() < 5) {
            int i = counter.getAndIncrement();
            var response = SSEMessageResponse.newBuilder()
                    .setId(UUID.randomUUID().toString())
                    .setType("MessageType")
                    .setPayload("Message number #" + i)
                    .build();

            log.info("Sending response down the stream to client. Number {}", i);
            newObserver.onNext(response);
        }
        if (counter.get() >= 5) {
            newObserver.onCompleted();
        }
    });
}

阻塞线程会导致gRPC框架无法及时处理流状态更新，进而造成数据在后端或Envoy处被缓冲，直到流关闭才一次性推送。

4. 禁用浏览器缓存 #

部分浏览器会对无明确分块标识的响应进行缓存，可在Envoy的响应头中添加Cache-Control: no-cache, no-store，强制浏览器不缓存流式响应数据。可通过在Envoy的virtual_hosts配置中添加response_headers_to_add实现：

virtual_hosts:
  - name: local_service
    domains: ["*"]
    response_headers_to_add:
      - header:
          key: Cache-Control
          value: no-cache, no-store
    # 其他原有配置...

5. 验证端到端HTTP/2支持 #

• 确认后端Spring Boot gRPC服务已启用HTTP/2（默认支持，可查看启动日志确认）
• 检查Envoy与后端的连接是否为HTTP/2：通过Envoy admin页面（http://localhost:9901/clusters）查看sse_service集群的连接协议
• Web客户端与Envoy之间为HTTP/1.1+分块传输是gRPC-Web的正常模式，需确保Envoy正确完成HTTP/1.1到HTTP/2的协议转换。

6. 排查日志细节 #

• 开启Envoy调试日志：修改配置添加详细的访问日志格式，或调整日志级别为debug，查看每个onNext的数据是否被分块转发
• 查看后端gRPC日志：确认每个onNext调用后，数据是否被立即发送，而非被缓冲在框架层

内容的提问来源于stack exchange，提问作者Vitor Villar