如何使用Envoy或Nginx代理缓存gRPC消息以支持服务热更新

Nginx 相关支持 #

Nginx开源版本的ngx_http_grpc_module仅提供基础的gRPC反向代理、负载均衡、流量切分能力，不原生支持静默期的gRPC请求暂存、更新后重放功能。即使是商业版Nginx Plus，也没有针对该场景的内置特性，仅支持短时间的错误重试，无法实现长周期（秒级以上）的请求持久化缓存。

Envoy 相关支持 #

Envoy 官方同样没有开箱即用的gRPC请求暂存重放能力，但可以通过其扩展能力自定义实现：

• 若你的服务静默时间较短（1分钟以内），可以调整gRPC路由的重试策略：将retry_on参数设置为unavailable，拉长总重试时长和重试间隔，可变相实现短时间的请求暂存，需注意超过重试窗口的请求依然会返回错误给调用方
• 若需要更长时间的缓存，可自研Envoy自定义过滤器：在过滤器中检测后端服务的健康状态，当所有实例处于不可用状态时，将收到的gRPC请求写入本地内存/外部持久化存储，待后端健康检查恢复后再依次取出请求转发处理。

更推荐的落地方案 #

不建议依赖代理层实现该能力，代理层的核心定位是流量转发，内置的重试、缓存逻辑都有严格的时效和资源限制，很容易出现请求丢失、内存溢出等问题。如果要保证静默期请求100%不丢失，更建议在架构中引入消息队列组件，将所有gRPC请求先写入消息队列，后端服务启动完成后再消费处理，天然适配热更新场景的流量堆积需求。

内容的提问来源于stack exchange，提问作者h1990