先排查503错误的核心原因 #

你遇到的503错误（尤其是ngrok环境下），大概率是连接超时导致的中间层断开：

• ngrok默认HTTP连接超时为2分钟，超过后会主动断开连接并返回503；
• 如果你用了反向代理（如Nginx）或部署在云服务，负载均衡/代理层可能也有默认超时限制；
• 即使前端设置了axios超时，中间层的超时会先触发断开，导致后端任务还在执行，但前端收到503。

方案一：保持长连接直到任务完成（适合耗时10分钟内的任务） #

如果希望保持请求连接直到结果返回，可以通过以下调整避免超时断开：

1. 调整服务端与代理的超时配置 #

• Uvicorn启动参数：启动FastAPI时增加超时相关参数，延长连接存活时间：

  uvicorn main:app --host 0.0.0.0 --port 8000 --timeout-keep-alive 600 --timeout-graceful-shutdown 600
  

  --timeout-keep-alive设置为600秒（10分钟），避免Uvicorn主动断开空闲连接。
• ngrok超时调整：启动ngrok时指定更长的HTTP超时：

  ngrok http --http-timeout 3600 8000
  

  --http-timeout设置为3600秒（1小时），覆盖默认的2分钟限制。
• 反向代理（如Nginx）配置：如果用Nginx做代理，需在location块中添加：

  proxy_connect_timeout 3600s;
  proxy_send_timeout 3600s;
  proxy_read_timeout 3600s;
  

2. 用StreamingResponse避免连接空闲 #

长耗时任务如果没有数据传输，中间层可能判定连接空闲并断开。可以用StreamingResponse实时返回任务进度，保持连接活跃：

from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from flux_model import generate_image  # 假设你的Flux模型调用函数

app = FastAPI()

def generate_image_stream(prompt: str):
    # 发送进度通知，保持连接活跃
    yield b"status: processing\n\n"
    # 执行图像生成任务
    image_data = generate_image(prompt)
    # 返回最终结果（示例为二进制图像数据）
    yield b"status: done\n"
    yield b"data: " + image_data + b"\n\n"

@app.post("/generate-image")
async def generate_image_endpoint(prompt: str):
    return StreamingResponse(generate_image_stream(prompt), media_type="text/event-stream")

前端可以通过SSE（Server-Sent Events）接收进度，直到拿到最终图像数据。

方案二：异步后台任务（推荐用于超长时间任务） #

如果任务耗时超过10分钟，或者需要支持并发多任务，建议将任务卸载到后台队列，这是生产环境的最佳实践：

1. 使用Celery+Redis实现任务队列 #

Celery是成熟的分布式任务队列，适合处理异步后台任务：

• 安装依赖：

  pip install celery redis
  

• 配置Celery（celery_app.py）：

  from celery import Celery
  
  celery_app = Celery(
      "tasks",
      broker="redis://localhost:6379/0",
      backend="redis://localhost:6379/0"
  )
  
  @celery_app.task
  def generate_image_task(prompt: str):
      from flux_model import generate_image
      return generate_image(prompt)  # 返回图像Base64编码或存储路径
  

• FastAPI端点提交任务并返回任务ID：

  from fastapi import FastAPI
  from celery_app import generate_image_task
  
  app = FastAPI()
  
  @app.post("/submit-task")
  async def submit_task(prompt: str):
      task = generate_image_task.delay(prompt)
      return {"task_id": task.id}
  
  @app.get("/task-result/{task_id}")
  async def get_task_result(task_id: str):
      task = generate_image_task.AsyncResult(task_id)
      if task.state == "PENDING":
          return {"status": "processing"}
      elif task.state == "SUCCESS":
          return {"status": "done", "image_data": task.result}
      else:
          return {"status": "failed", "error": str(task.info)}
  

• 启动Celery worker：

  celery -A celery_app worker --loglevel=info
  

前端可以通过轮询/task-result/{task_id}接口获取任务状态和结果，也可以用WebSocket实现实时通知。

2. 替代方案：轻量级任务队列 #

如果不想引入Celery，也可以用Redis自己实现简单的任务队列，或者使用fastapi-background-tasks扩展，但这类方案适合小规模场景，生产环境还是推荐Celery。

总结 #

• 若任务耗时较短（10分钟内），可以通过调整超时配置+StreamingResponse保持长连接；
• 若任务耗时较长或需要高并发，必须用后台任务队列（如Celery），这是生产环境的标准方案；
• ngrok测试时务必调整--http-timeout参数，否则默认2分钟超时会导致503错误。

内容的提问来源于stack exchange，提问作者binary_right_010.011