GCP K8s部署的FastAPI服务高延迟问题排查求助

1. 调整uvicorn Worker配置 #

• 匹配Worker数量与Pod CPU核心数：若Pod仅分配1vCPU，4个Worker会导致CPU上下文切换频繁，建议改为--workers=$(nproc)（1vCPU对应1个Worker），减少资源竞争。
• 启用高性能事件循环：添加--loop uvloop参数，uvloop比默认asyncio事件循环的IO处理效率更高，能降低高并发下的响应发送延迟。

2. 排查Kong网关的瓶颈 #

• 检查Kong的Nginx核心配置：确认worker_connections（并发连接上限）、keepalive_timeout（长连接超时）等参数是否适配300+并发场景，避免请求队列积压。
• 查看Kong监控指标：重点关注请求队列长度、网关到后端Pod的延迟分布，确认是否是网关层面的延迟传递至后端服务。
• 调整网关超时配置：检查proxy_connect_timeout、proxy_send_timeout是否设置过长，避免请求在网关侧无意义等待。

3. 排查K8s内部网络问题 #

• 检查节点网络资源：查看Pod所在节点的带宽使用率、TCP连接数，若节点端口耗尽或带宽饱和会导致响应发送时TCP队列阻塞。
• 检查Service会话亲和性：若开启了会话亲和性，可能导致部分Pod连接数过载，即使整体CPU使用率不高，单个Pod的连接队列也会积压。
• 验证Cloud SQL网络连接：确认VPC网络无延迟波动、防火墙规则无隐性限制，检查TCP滑动窗口配置是否合理，避免数据发送缓慢。

4. 排查异步IO阻塞点 #

• 确认数据库驱动类型：若使用同步驱动（如psycopg2），会阻塞FastAPI的事件循环，导致http send阶段被延迟，建议替换为异步驱动asyncpg。
• 核对链路追踪时序：查看Datadog中http send span与数据库查询span是否存在时间重叠，确认是否是事件循环被占用导致响应发送推迟。

5. 检查操作系统级资源限制 #

• 调整Pod文件描述符上限：高并发下TCP连接消耗大量文件描述符，若ulimit -n值过低会导致连接发送延迟，可在Pod部署配置中添加securityContext提升上限。
• 优化节点TCP参数：调整tcp_wmem、tcp_rmem（发送/接收缓冲区）大小，避免因缓冲区过小导致响应发送缓慢。

内容的提问来源于stack exchange，提问作者Kunal