Firebase Cloud Functions V2流式文本：模拟器正常，部署后失效

问题描述 #

以下Firebase云函数代码在本地模拟器中可正常流式返回OpenAI的响应，但部署到线上后，数据会一次性完整返回，疑似服务器端缓冲导致流式失效：

exports.answers = functions.https.onRequest(req,res)...

const stream = await openai.chat.completions.create({
                model: "gpt-4",
                messages: [{"role": "user", "content": "Tell me something about life etc"}],
                stream: true,
            });
            
            for await(const chunk of stream) {
                res.write(chunk.choices[0]?.delta?.content || '');
            }
.
.
.
res.end();

解决方法 #

部署后的Firebase Functions默认会启用响应缓冲，需通过以下设置强制关闭缓冲并配置正确的流式传输头：

1. 添加关键响应头 #

在函数开头添加以下头信息，禁用代理层缓冲并声明分块传输：

res.setHeader('X-Accel-Buffering', 'no');
res.setHeader('Transfer-Encoding', 'chunked');
res.setHeader('Content-Type', 'text/plain; charset=utf-8');
res.setHeader('Cache-Control', 'no-cache, no-store, must-revalidate');

• X-Accel-Buffering: no：强制Firebase底层代理（如Cloud Run代理）关闭缓冲，直接传输数据
• Transfer-Encoding: chunked：明确告知客户端响应为分块流式传输
• Cache-Control：进一步确保客户端和中间层不缓存响应

2. 显式刷新响应 #

在每次res.write()后调用res.flush()，确保内容立即发送到客户端：

for await (const chunk of stream) {
  const content = chunk.choices[0]?.delta?.content || '';
  if (content) {
    res.write(content);
    await new Promise(resolve => res.flush(resolve)); // 显式刷新缓冲区
  }
}

修改后的完整代码 #

exports.answers = functions.https.onRequest(async (req, res) => {
  // 配置流式传输必需的响应头
  res.setHeader('X-Accel-Buffering', 'no');
  res.setHeader('Transfer-Encoding', 'chunked');
  res.setHeader('Content-Type', 'text/plain; charset=utf-8');
  res.setHeader('Cache-Control', 'no-cache, no-store, must-revalidate');

  try {
    const stream = await openai.chat.completions.create({
      model: "gpt-4",
      messages: [{"role": "user", "content": "Tell me something about life etc"}],
      stream: true,
    });

    for await (const chunk of stream) {
      const content = chunk.choices[0]?.delta?.content || '';
      if (content) {
        res.write(content);
        await new Promise(resolve => res.flush(resolve));
      }
    }
  } catch (error) {
    res.write(`Error: ${error.message}`);
  } finally {
    res.end();
  }
});

注意事项 #

• 确保函数使用async关键字正确处理异步逻辑，避免遗漏await导致流处理异常
• 完善错误捕获，避免异常导致函数提前终止而未调用res.end()

内容的提问来源于stack exchange，提问作者Ahmad Butt