Docker部署FastAPI运行长耗时ML任务返回err_empty_response如何延长超时?
超时问题解决方案
1. 调整Gunicorn超时配置
你遇到的err_empty_response核心原因是Gunicorn默认的HTTP请求超时时间仅为30秒,长耗时任务会触发Gunicorn主动断开连接。你之前修改的shutdown-timeout是容器停止时的等待超时,和HTTP请求超时无关,因此不生效。
修改Dockerfile中的ENTRYPOINT配置,添加--timeout参数设置超时时长(单位为秒,示例设为600秒即10分钟,可根据你的模型训练时长自行调整):
ENTRYPOINT /opt/conda/envs/myenv/bin/gunicorn \ -b 0.0.0.0:80 \ -w 4 \ -k uvicorn.workers.UvicornWorker main:app \ --chdir /projectfolder \ --timeout 600
2. 修正路由阻塞问题
你当前的测试代码使用async异步路由,但调用了同步阻塞的time.sleep,会卡住Uvicorn的事件循环,也可能导致超时异常,可任选以下一种方案修正:
方案1:使用异步休眠替换同步休眠
from fastapi import FastAPI import uvicorn import asyncio app = FastAPI() @app.get("/") async def root(): await asyncio.sleep(150) return {"message": "Hello World from docker"} if __name__ == "__main__": uvicorn.run(app)
方案2:改为同步路由
同步路由会被Uvicorn自动放到线程池中执行,不会阻塞事件循环:
from fastapi import FastAPI import uvicorn import time app = FastAPI() @app.get("/") def root(): time.sleep(150) return {"message": "Hello World from docker"} if __name__ == "__main__": uvicorn.run(app)
3. 可选:调整代理侧超时
如果你的服务前端还有Nginx等反向代理,需要同步调整代理的连接超时、读超时、写超时配置。Chrome浏览器本身默认超时时间较长,一般不会主动断开数分钟的请求,优先确认前两项配置即可。
修改完成后重新构建镜像启动容器,即可正常处理长耗时请求。
内容的提问来源于stack exchange,提问作者Elena
相关产品推荐
相关产品推荐

