如何扩展RabbitMQ RPC以满足每秒1000个任务分发的性能要求？

官方提供的rpc_client、rpc_server示例为了保证逻辑可读性做了大量简化，默认配置的性能瓶颈非常明显，按照以下优先级调整即可满足需求：

客户端侧优化 #

• 复用连接与通道：不要每次请求新建TCP连接、通道，单进程内全局复用1个RabbitMQ连接，每个工作线程/协程绑定独立通道使用，可减少90%以上的连接创建开销。
• 替换为异步实现：默认同步示例单次请求需要阻塞等待响应返回，换成aio-pika异步库或者pika自带的异步模式，单连接可支持并发上百个请求，吞吐量直接提升数倍。
• 裁剪非必要消息属性：如果业务允许任务丢失后重试，将消息delivery_mode设置为1（非持久化），关闭持久化可减少磁盘IO开销，性能提升可达5倍以上。
• 批量打包请求：如果业务逻辑允许，将多个小任务打包为单条消息发送，worker侧拆包处理，大幅减少消息往返次数。

服务端（rpc_server）侧优化 #

• 调整预取数配置：默认示例prefetch_count=1，worker每次只能取1个任务，处理完成才能取下一个，会导致worker长时间空闲等待消息下发，根据单worker处理能力调整为5~20，充分利用CPU资源。
• 多进程部署：你的CPU为8线程规格，直接启动6~8个独立的rpc_server进程即可跑满CPU算力，不要用Python多线程处理CPU密集型任务，GIL会导致性能严重衰减。
• 批量手动确认：如果业务支持重复处理，不要处理完单个任务就提交ack，攒够10个任务或者每100ms批量提交一次ack，减少和RabbitMQ的交互频次，注意需要保证业务逻辑幂等，避免进程崩溃导致重复处理出错。

RabbitMQ服务端优化 #

• 关闭持久化配置：队列声明时设置durable=False、auto_delete=True，所有消息走内存存储，完全避免磁盘IO开销。
• 调整内存阈值：你的机器有8GB内存，将RabbitMQ的内存高水位线调整为60%，避免消息堆积时触发流控限制吞吐。
• 禁用非必要插件：关闭管理后台、链路追踪等非核心插件，减少额外性能损耗。
• 内核参数优化：开启tcp_tw_reuse、tcp_tw_recycle内核参数，避免短连接过多导致的端口占用问题。

备选架构调整方案 #

如果上述优化仍无法满足需求，可以放弃原生RPC的请求响应绑定模式，拆分为独立的请求队列+响应队列，客户端发请求时携带唯一请求ID，后台异步消费响应队列做ID匹配，吞吐量可再提升2~3倍。

内容的提问来源于stack exchange，提问作者ASD