如何优化Twilio Serverless函数？解决WhatsApp-GPT3.5机器人超时问题

我正在开发一款对接Twilio WhatsApp消息服务与OpenAI GPT-3.5的WhatsApp机器人，使用的Serverless函数代码如下。但函数执行时长通常超过10秒，会被Twilio自动终止。由于Flow HTTP请求组件不支持自定义请求头，必须通过该函数传递API密钥。已精简冗余功能，但仍存在超时问题，希望排查操作是否有误，或获取进一步优化方案。

const fetch = require('node-fetch');
exports.handler = async(context, event, callback) => {
    const history = [{"role": "system",
        "content": "Eres un asistente educativo para estudiantes de una escuela primaria"}, {'role': 'user', 'content': event.message}];
    try{
        const response = await fetch('https://api.openai.com/v1/chat/completions', {
            method: "POST",
            headers: {
                "Content-Type": "application/json",
                "Authorization": `Bearer ${context.OPENAI_KEY}`
            },
            body: JSON.stringify({
                "model": "gpt-3.5-turbo",
                "max_tokens": 750,
                "n": 1,
                "temperature": 0,
                "messages": history
            })
        });
        const data = await response.json();
        return callback(null, data.choices[0].message.content);
    }catch(error){
        console.log(error);
        return callback(error);
    }
}

优化方案与错误排查 #

1. 优化OpenAI API调用参数 #

• 降低max_tokens值：当前设置为750，小学教育场景的回复通常不需要过长内容，建议调整为300-500，直接减少模型生成文本的耗时。
• 切换至高效模型版本：优先使用gpt-3.5-turbo-0613或更新的轻量化迭代版本，这类模型在响应速度上比旧版更优。
• temperature=0的设置合理（保证确定性输出），该参数对响应时长影响极小，可保留。

2. 提升函数HTTP请求性能 #

• 替换node-fetch为更高效的HTTP库：比如undici，它在Node.js环境下的请求性能优于node-fetch，能减少网络请求的耗时。替换后核心请求逻辑示例：

  const { request } = require('undici');
  const { body } = await request('https://api.openai.com/v1/chat/completions', {
    method: 'POST',
    headers: {
      "Content-Type": "application/json",
      "Authorization": `Bearer ${context.OPENAI_KEY}`
    },
    body: JSON.stringify(/* 请求体内容 */)
  });
  const data = await body.json();
  

• 提前固化系统提示词：将system prompt的定义移到函数外部，避免每次执行都重新创建数组（虽影响极小，但可减少初始化开销）。

3. 采用异步回复模式（核心解决超时问题） #

Twilio Serverless的10秒超时限制无法突破，因此需要改为异步处理流程：

• 函数先快速返回临时响应（如"正在整理答案，请稍等～"）给用户，避免超时；
• 在后台异步调用OpenAI API，获取结果后通过Twilio Messaging API主动发送最终回复。

示例代码框架：

const fetch = require('node-fetch');
const twilio = require('twilio');

exports.handler = async(context, event, callback) => {
    // 1. 先发送临时提示消息
    const client = twilio(context.TWILIO_ACCOUNT_SID, context.TWILIO_AUTH_TOKEN);
    await client.messages.create({
        body: "正在思考中，请稍等片刻",
        from: event.From,
        to: event.To
    });

    // 2. 异步处理OpenAI请求（不等待结果，避免函数超时）
    (async () => {
        const history = [{"role": "system", "content": "Eres un asistente educativo para estudiantes de una escuela primaria"}, {'role': 'user', 'content': event.message}];
        try {
            const response = await fetch('https://api.openai.com/v1/chat/completions', {
                method: "POST",
                headers: {
                    "Content-Type": "application/json",
                    "Authorization": `Bearer ${context.OPENAI_KEY}`
                },
                body: JSON.stringify({
                    "model": "gpt-3.5-turbo",
                    "max_tokens": 400,
                    "n": 1,
                    "temperature": 0,
                    "messages": history
                })
            });
            const data = await response.json();
            // 3. 发送最终回复
            await client.messages.create({
                body: data.choices[0].message.content,
                from: event.From,
                to: event.To
            });
        } catch (error) {
            console.log(error);
            await client.messages.create({
                body: "抱歉，暂时无法为你解答，请稍后再试",
                from: event.From,
                to: event.To
            });
        }
    })();

    // 快速返回空响应，避免函数超时
    return callback(null, "");
}

4. 调整部署区域 #

将Twilio Serverless函数部署到离OpenAI API服务器更近的区域（如美国东部），减少网络传输延迟。

内容的提问来源于stack exchange，提问作者AxelElRojo