如何在FastAPI应用中正确处理用户上传图片及并发请求问题？

原代码存在多个严重影响并发性能和数据正确性的问题，核心集中在资源冲突、不合理逻辑和并发能力不足三个维度，具体问题修复和优化方案如下：

核心问题拆解 #

• 所有上传图片强制命名为new.jpg，并发请求时会直接覆盖文件，导致后续请求读取错误图片，甚至引发文件写入冲突。
• 硬编码CSV输出路径outputs/Results/Results_1.csv，多请求同时读写该文件会导致数据混乱、读取到不完整结果。
• 请求内动态import main，每次请求都会重新加载模块，严重降低性能，还可能引发模块初始化的并发问题。
• 异常处理逻辑错误：raise语句后的代码永远不会执行，且捕获所有异常的方式过于宽泛，无法定位具体问题。
• 缺少临时文件清理机制，长期运行会导致inputs和outputs文件夹堆积大量无用文件，占用磁盘资源。
• 同步执行模型处理，大量请求并发时会阻塞主线程，导致API响应超时。

优化方案 #

1. 保证文件唯一性 #

为每个上传图片生成唯一文件名，避免并发时的文件覆盖。可使用uuid生成唯一标识，结合原文件名后缀保留格式信息。

2. 隔离请求输出 #

为每个请求创建独立的输出文件，确保不同请求的处理结果互不干扰。

3. 提前加载模型模块 #

将import main移到文件顶部，避免每次请求重复加载模块，提升性能。

4. 修复异常处理 #

精准捕获特定异常，移除无效代码，确保错误信息能正确返回给用户。

5. 增加临时文件清理 #

在请求处理完成后立即清理当前请求的临时文件，避免磁盘资源浪费。

6. 异步处理模型任务 #

将模型处理任务放到线程池中执行，避免阻塞FastAPI的事件循环，提升并发处理能力。

优化后的代码示例 #

from fastapi import FastAPI, File, UploadFile, HTTPException
import csv
import json
import uuid
import os
from concurrent.futures import ThreadPoolExecutor
import main  # 提前加载模型模块

# 初始化路径，确保目录存在
IMAGEDIR = "inputs/"
OUTPUTDIR = "outputs/Results/"
os.makedirs(IMAGEDIR, exist_ok=True)
os.makedirs(OUTPUTDIR, exist_ok=True)

app = FastAPI()
# 创建线程池，用于异步执行模型处理任务
executor = ThreadPoolExecutor(max_workers=10)

def csv_to_json(csvFilePath):
    jsonArray = []
    try:
        with open(csvFilePath, encoding='utf-8') as csvf:
            csvReader = csv.DictReader(csvf)
            for row in csvReader:
                jsonArray.append(row)
        return jsonArray
    except FileNotFoundError:
        raise HTTPException(status_code=500, detail="处理结果文件未找到")
    except Exception as e:
        raise HTTPException(status_code=500, detail=f"读取结果文件失败: {str(e)}")

def process_image(image_path, output_file):
    # 调用main.py中的模型处理函数，需根据实际main.py逻辑修改调用方式
    main.process(image_path, output_file)

@app.post("/upload_image/")
async def upload_image(img: UploadFile = File(...)):
    # 生成唯一文件名
    file_ext = os.path.splitext(img.filename)[1]
    unique_id = str(uuid.uuid4())
    img_filename = f"{unique_id}{file_ext}"
    img_path = os.path.join(IMAGEDIR, img_filename)
    
    # 保存上传的图片
    try:
        contents = await img.read()
        with open(img_path, "wb") as f:
            f.write(contents)
    except Exception as e:
        raise HTTPException(status_code=500, detail=f"保存图片失败: {str(e)}")
    
    # 生成唯一的输出CSV文件名
    output_csv = os.path.join(OUTPUTDIR, f"result_{unique_id}.csv")
    
    try:
        # 在线程池中执行模型处理任务，避免阻塞事件循环
        executor.submit(process_image, img_path, output_csv).result()
        
        # 读取并转换结果为JSON
        result = csv_to_json(output_csv)
        
        # 清理临时文件
        os.remove(img_path)
        os.remove(output_csv)
        
        return result
    except Exception as e:
        # 异常时清理临时文件，避免残留
        if os.path.exists(img_path):
            os.remove(img_path)
        if os.path.exists(output_csv):
            os.remove(output_csv)
        raise HTTPException(status_code=500, detail=f"模型处理失败: {str(e)}")

额外建议 #

• 若模型处理耗时较长，建议使用消息队列（如Redis Queue、Celery）将任务异步化，返回任务ID给用户，让用户通过另一个接口查询结果，避免请求超时。
• 对上传图片进行格式校验和大小限制，防止恶意上传大文件占用资源。
• 添加日志记录，方便排查并发场景下的问题。
• 配置FastAPI的多进程模式（如Uvicorn的--workers参数），进一步提升并发处理能力。

内容的提问来源于stack exchange，提问作者Nima