如何扩展多云架构下LLM Chatbot RAG系统的生产环境并发用户数

一、基于AWS服务的集中式负载均衡方案 #

方案1：AWS Application Load Balancer（ALB）+ 自定义路由逻辑 #

• 部署ALB作为LLM请求的统一入口，将请求转发至不同Azure区域的ChatGPT端点（支持公网访问或通过VPC peering打通AWS与Azure网络）。
• 配置自定义目标组：将每个Azure ChatGPT端点添加为ALB的目标节点，同时配置健康检查规则（定期调用Azure OpenAI的测试接口），自动剔除故障或高延迟端点。
• 负载均衡策略：
  • 按区域流量权重分配：根据各Azure端点的token配额比例设置权重，配额更高的区域分配更多请求。
  • 按实时响应延迟动态调整：ALB自动将请求导向延迟更低的健康端点，优化用户体验。
• 安全配置：通过Azure防火墙限制仅ALB的IP段可访问ChatGPT端点，同时在AWS IAM中配置访问Azure端点的必要权限。

方案2：AWS Lambda作为请求路由层 #

• 编写Lambda函数作为LLM请求的转发器，维护包含各Azure端点的token剩余量、区域、健康状态的动态列表。
• 自定义路由逻辑：
  • 实时调用Azure OpenAI的配额查询接口，将请求分配至当前剩余token最多的端点。
  • 实现熔断机制：当端点触发token上限时，自动将其从可用列表中移除，待配额重置后重新加入路由池。
• 优势：路由逻辑高度灵活，可按需扩展规则（比如优先分配至距离用户更近的Azure区域以降低延迟）。

二、分布式客户端侧负载均衡方案 #

在部署于AWS的Chatbot核心服务（如ECS/EKS容器集群）中集成负载均衡逻辑：

• 维护Azure端点配置列表，包含各端点的区域、配额阈值、健康状态。
• 内置负载均衡算法：
  • 轮询：适合各端点配额一致的场景，简单轮流分配请求。
  • 加权轮询：根据端点token配额设置权重，配额高的端点获得更多请求。
  • 最少token使用：实时统计各端点已消耗token量，优先分配至负载最低的节点。
• 配套监控：在AWS CloudWatch中监控各端点的token使用、响应延迟等指标，当端点接近配额上限时自动调整路由策略。

三、结合Azure原生服务的跨区域负载均衡 #

方案：Azure Front Door + AWS核心服务对接 #

• 在Azure侧部署Azure Front Door，将多区域ChatGPT端点配置为后端池。
• Front Door提供全局负载均衡能力，可基于地理位置、延迟、健康状态自动路由请求至最优端点。
• AWS核心服务直接调用Front Door的统一入口，无需关心后端端点的分配逻辑，简化AWS侧代码实现。
• 安全配置：通过Azure Private Link或防火墙限制仅AWS核心服务的IP可访问Front Door入口，保障流量安全。

四、配额优化与流量削峰补充方案 #

除负载均衡外，搭配以下优化进一步提升系统容量：

• Prompt压缩优化：对用户输入的10K token Prompt进行文本摘要、冗余内容去除处理，减少单请求的token消耗，间接提升并行用户支持量。
• 请求排队限流：使用AWS SQS队列缓冲LLM请求，当Azure端点配额接近上限时，将请求暂存至队列，待配额重置后再处理，避免直接触发限流。
• 动态配额调整：利用Azure OpenAI的动态配额申请机制，根据业务需求自动调整各区域端点的token配额，提升整体可用容量。

内容的提问来源于stack exchange，提问作者Gregory