Django中阻塞式外部API调用的优化处理方案问询

1. 用线程池优化串行API调用（最小侵入） #

针对当前串行调用外部API的逻辑，改用Python标准库的concurrent.futures.ThreadPoolExecutor将多个API请求并行执行，大幅缩短单个请求的总耗时，减少worker被占用的时间。

示例改造：

from concurrent.futures import ThreadPoolExecutor
import requests

# 全局初始化线程池，避免重复创建开销
api_executor = ThreadPoolExecutor(max_workers=5)

def fetch_api(url):
    return requests.get(url, timeout=(3, 10)).json()

# 原串行调用逻辑
# resp1 = fetch_api(api_url1)
# resp2 = fetch_api(api_url2)
# resp3 = fetch_api(api_url3)

# 改为并行调用
def parallel_api_calls():
    future1 = api_executor.submit(fetch_api, api_url1)
    future2 = api_executor.submit(fetch_api, api_url2)
    future3 = api_executor.submit(fetch_api, api_url3)
    
    resp1 = future1.result()
    resp2 = future2.result()
    resp3 = future3.result()
    return resp1, resp2, resp3

这种改造无需修改项目整体架构，仅针对API调用部分调整，能快速降低worker阻塞时长。

2. 用Gevent协程实现非阻塞调用（低侵入） #

通过Gevent的猴子补丁，将Python标准库的阻塞IO替换为协程实现，让单个gunicorn worker可同时处理上千个请求，几乎无需修改业务代码。

操作步骤：

1. 安装依赖：pip install gevent
2. 修改gunicorn启动命令，使用gevent worker：

gunicorn --worker-class=gevent --workers=4 --worker-connections=1000 your_project.wsgi:application

3. 在项目的wsgi.py开头添加猴子补丁：

from gevent import monkey
monkey.patch_all()

此方案对requests、zeep这类基于标准socket的库自动生效，worker不再因网络IO阻塞，能大幅提升并发处理能力。

3. 优化外部API调用策略 #

• 缓存高频请求：用Redis或Django缓存存储重复请求的结果，比如以请求参数为key，设置合理的缓存有效期，避免重复调用外部服务。
• 强制超时限制：给所有requests、zeep调用设置超时时间，比如requests加timeout=(3, 10)，zeep客户端初始化时设置timeout=10，防止worker被无响应的外部API永久占用。
• 智能重试机制：用tenacity库实现指数退避重试，仅对临时网络波动的请求重试，避免无意义的阻塞。

4. 横向扩展与负载均衡 #

• 用Nginx做反向代理，配置多台服务器或同一服务器上的多个gunicorn实例，分散流量压力。例如Nginx配置多个upstream节点，实现轮询负载。
• 调整gunicorn参数：使用gevent worker时，worker数量可设为CPU核心数的1-2倍（协程轻量，无需过多worker），同时调大worker-connections参数提升单worker并发能力。

5. 局部改造异步视图（可选） #

对高流量的核心视图，改用Django异步视图，替换requests为aiohttp、zeep为asynczeep，实现非阻塞调用。无需全量改造，仅针对关键路径优化。

示例异步视图：

from django.http import JsonResponse
import aiohttp

async def async_core_view(request):
    async with aiohttp.ClientSession() as session:
        async with session.get('https://external-service.com/api', timeout=10) as resp:
            data = await resp.json()
            return JsonResponse(data)

内容的提问来源于stack exchange，提问作者Azikdev