如何最大化gRPC吞吐量？单端口并发连接受限问题咨询

gRPC 基于 HTTP/2 协议实现，而 HTTP/2 的核心特性之一就是单连接多路复用——默认情况下，gRPC 客户端对同一个目标（单IP+单端口）只会建立一条 TCP 连接，所有请求都通过这条连接上的不同流来传输。在 100Gb 这种高带宽环境下，单条 TCP 连接很容易遇到性能瓶颈（比如 TCP 窗口大小限制、单连接的流并发数上限等），这就是为什么你单端口时吞吐量只能到 1GB/s，而多端口时能突破到 3GB+/s——多端口相当于客户端建立了多条独立的TCP连接，充分利用了带宽。

针对单端口场景，你可以通过以下几个方向优化，让客户端充分利用100Gb带宽：

1. 开启gRPC客户端多连接模式 #

gRPC 提供了连接池配置，你可以通过设置 GRPC_ARG_MAX_CONNECTIONS 参数，允许客户端对同一个目标建立多条TCP连接。比如在客户端创建 Channel 时添加这个配置：

grpc::ChannelArguments args;
// 允许最多4条连接，可根据带宽和负载调整
args.SetInt(GRPC_ARG_MAX_CONNECTIONS, 4);
// 配合调整单连接的最大并发流数
args.SetInt(GRPC_ARG_MAX_CONCURRENT_STREAMS_PER_CONNECTION, 32);
auto channel = grpc::CreateCustomChannel(server_addr, grpc::InsecureChannelCredentials(), args);

这个参数会让客户端根据请求负载自动创建多条连接，分流请求，从而突破单连接的带宽限制。

2. 优化TCP层面参数 #

100Gb 网络下，默认的TCP参数往往无法发挥全部带宽，你需要调整系统级的TCP配置：

• 增大TCP接收/发送窗口：比如在Linux系统下设置 net.ipv4.tcp_window_scaling=1（开启窗口缩放），并调整 net.core.rmem_max、net.core.wmem_max 到更大的值（比如1GB）
• 启用BBR拥塞控制：echo bbr > /sys/module/tcp_congestion_control/parameters/default，BBR在高带宽低延迟网络下性能远好于传统的CUBIC或 Reno
• 调整TCP队列长度：增大 net.core.somaxconn、net.ipv4.tcp_max_syn_backlog 避免连接队列溢出

3. 调整客户端并发请求数 #

确保你的客户端有足够的并发请求量来填满带宽。从你的客户端代码逻辑来看，可以调整并发发送请求的线程数，让多连接和多流都能被充分利用——比如如果当前是单线程发送，改成多线程并发调用gRPC方法。

4. 优化服务器端配置 #

你之前设置的 GRPC_ARG_MAX_CONCURRENT_STREAMS=10 数值偏低，在多连接场景下建议调大（比如64或更高），确保服务器能处理来自多条连接的大量并发流。同时也要确保服务器的线程池大小足够，能及时处理请求，避免成为性能瓶颈。

你之前设置的 GRPC_ARG_HTTP2_STREAM_LOOKAHEAD_BYTES 主要用于优化HTTP/2的流预读取，对单连接带宽的提升有限，核心还是要通过多连接来突破单TCP连接的瓶颈。

内容的提问来源于stack exchange，提问作者Gong WeiBao