Python调用REST API获取大体积zip文件无响应问题排查求助

问题判定结论 #

无法直接判定问题完全出自数据回传链路，小文件请求正常、大文件卡住的现象确实符合链路层面的限流/超时/MTU配置异常特征，但也存在客户端、服务端配置错误的可能性。

若为数据回传链路问题的定位方法 #

• 首先在客户端机器上用tcpdump抓包验证：执行tcpdump host <服务器域名/IP> and port <服务端口>，触发请求后观察是否有TCP分段持续传输，还是服务端返回完响应头之后就没有后续数据包，或者出现大量重传、丢包
• 测试客户端到服务端的MTU是否匹配：Linux环境执行ping -s 1472 -M do <服务器IP>，Windows环境执行ping -f -l 1472 -t <服务器IP>，如果1472字节的包不通，说明链路上存在MTU不匹配导致大包被丢弃
• 排查链路中间节点限制：检查客户端出口网关、运营商链路、服务端WAF/CDN/负载均衡的单请求响应大小限制、低速请求超时阈值，很多中间设备会主动断开传输速度过慢或超过大小阈值的长连接

非链路问题的常见故障原因 #

客户端配置问题 #

你当前的requests.get写法默认会把整个响应内容加载到内存后才返回，大文件场景下很容易出现假死问题：

• 缺少超时配置：requests默认没有全局超时，链路异常时会无限等待，建议添加timeout=120参数，单位为秒
• 未启用流式下载：大文件应该启用流式传输模式，修改请求代码为：

s = req.Session()
res_data = s.get(
    myurl,
    headers={apikey},
    json={somearguments},
    timeout=120,
    stream=True
)
# 后续逐块写入本地文件
with open("output.zip", "wb") as f:
    for chunk in res_data.iter_content(chunk_size=8192):
        f.write(chunk)

• 客户端代理/防火墙限制：检查客户端是否配置了代理，代理是否存在大文件下载拦截规则，本地防火墙是否会截断超过指定大小的响应

服务端配置问题 #

即使服务端日志显示请求执行完成，仍可能存在响应返回异常：

• 服务端响应头配置错误：Content-Length字段值和实际返回的文件大小不一致，导致客户端一直等待剩余数据接收
• 服务端TCP缓冲区配置过小：大文件传输时缓冲区满导致服务端停止发送数据，没有触发报错日志
• 服务端出口限流/QoS限制：针对大响应的请求配置了极低的传输速度，导致10MB文件需要极长时间才能传输完成

内容的提问来源于stack exchange，提问作者horace_vr