FastAPI同步函数为何能同时响应多客户端请求？

云上老周

2026-7-3

问题描述

我定义了如下FastAPI同步POST端点：

@router.post("/v1/random")
def get_random():    
    return generate_random_text()

该端点调用的generate_random_text函数结构如下：

def generate_random_text():    
    prompt = "Generate random text"    
    def event_stream():        
        completion = openai.ChatCompletion.create(
            model=target_version,
            messages=[{"role": "user", "content": target_prompt}],
            max_tokens=1300,
            temperature=1,
            stream=True,
        )        
        for line in completion:            
            if line.choices[0].delta.get("content"):                
                yield f"data: {line.choices[0].delta.get('content')}\n\n"        
        yield "data: [DONE]\n\n"    
    headers = {        
        "Content-Type": "text/event-stream",        
        "Cache-Control": "no-cache",        
        "Transfer-Encoding": "chunked",    
    }    
    return StreamingResponse(event_stream(), headers=headers)

当我用三个客户端同时访问该端点时，所有客户端都能立即收到流式响应，但该函数是同步的（未使用async/await）。我原以为Python同步I/O操作会阻塞，无法并发处理请求，想请教这种并发行为在FastAPI中是如何实现的？

原因解析

FastAPI基于Starlette框架，默认通过线程池实现同步端点的并发处理，核心逻辑如下：

线程池调度机制：同步请求到达后，FastAPI会将处理任务分配给后台线程池的独立线程。Python的GIL（全局解释器锁）在I/O操作期间会被释放，因此当某个线程因调用OpenAI接口进入网络等待时，其他线程可以正常执行，不会被阻塞。
StreamingResponse的流处理特性：你返回的StreamingResponse依赖生成器工作，每次yield都会向客户端发送一段数据。在等待OpenAI返回下一个流数据的间隙，当前线程处于I/O等待状态，GIL释放，线程池可以调度其他线程处理其他客户端的请求。
流式接口的I/O密集属性：你的场景属于典型的I/O密集型任务（主要耗时在和OpenAI的网络交互上），而非CPU密集型。线程池非常适合处理这类任务，多个线程可以在各自的I/O等待间隙交替执行，让多个客户端看起来同时获得响应。

内容的提问来源于stack exchange，提问作者Andy