基于Twilio与OpenAI实时语音翻译的技术问题求助

项目实现概述 #

通过Twilio获取通话音频流，推送到OpenAI WebSocket实现两方通话者的语言翻译，核心代码与配置如下：

音频流推送代码 #

const audioAppend = {
  type: "input_audio_buffer.append",
  audio: data.media.payload,
};

if (
  client.callerOpenAiSocket != null &&
  client.callerOpenAiSocket.readyState === WebSocket.OPEN
) {
  client.callerOpenAiSocket.send(JSON.stringify(audioAppend));
} else {
  //console.log("Please wait until OpenAI is intialized");
}

OpenAI会话更新配置 #

this.callersessionUpdate = {
  type: "session.update",
  session: {
    turn_detection: {
      type: "server_vad",
      threshold: 0.5,
      prefix_padding_ms: 300,
      silence_duration_ms: 500,
    },
    input_audio_format: "g711_ulaw",
    output_audio_format: "g711_ulaw",
    voice: this.voice,
    instructions: this.callerPrompt,
    modalities: ["text", "audio"],
    temperature: 0.8,
    max_response_output_tokens: 100,
    input_audio_transcription: {
      model: "whisper-1",
    },
  },
};

翻译提示词 #

You are an AI assistant designed to process Telugu audio. Please perform the following tasks accurately and concisely:

1. Task: Listen to the provided Telugu audio and transcribe it into written Telugu text.
2. Translate: Translate the transcribed Telugu text into English.
3. Output: Provide English translation clearly.
   Do not include any additional information, context, or explanations. Ensure that all responses are complete and clear.

当前遇到的技术问题 #

• OpenAI响应存在延迟
• 通话者对话过程中，系统有时未执行翻译，而是进入对话模式引发混淆
• 尽管提示词中指定了源语言，仍偶尔出现转录为其他语言的情况
• 不确定是否应收到conversation.item.input_audio_transcription.completed和response.audio_transcript.done事件，目前有时无法接收，怀疑是问题诱因

备注：每3秒发送一次会话更新

问题解决方案 #

1. 响应延迟优化 #

• 调整VAD参数：将silence_duration_ms从500ms适当调大（如800ms），减少零碎音频片段的发送，降低API处理压力
• 压缩响应输出：将max_response_output_tokens从100调低至50-80，减少生成内容长度
• 降低随机性：将temperature从0.8调整到0.2-0.3，减少模型思考复杂度
• 确认音频链路：检查Twilio音频流传输是否存在损耗，确保g711_ulaw格式无转码错误

2. 避免进入对话模式 #

• 强化提示词约束：在提示词末尾添加「绝对禁止进行对话互动，仅输出翻译结果，不得附加任何额外内容」
• 重置会话上下文：每次通话开始前，重新初始化OpenAI WebSocket会话，清除历史对话残留
• 精准指令配置：将instructions字段内容与提示词保持一致，避免歧义性描述

3. 修复转录语言错误 #

• 强制指定源语言：在input_audio_transcription中添加language: "te"（泰卢固语ISO代码），约束Whisper模型识别语言
• 提示词重复强调：在提示词开头明确「仅处理泰卢固语音频，必须转录为泰卢固语文本后再翻译」
• 优化音频质量：检查Twilio通话音频是否存在杂音，开启平台内置降噪功能

4. 解决事件接收异常 #

• 减少会话更新频率：无需每3秒发送一次session.update，仅在通话初始化或参数变更时发送，避免干扰会话状态
• 监听WebSocket状态：添加error和close事件监听，排查连接中断或消息格式错误
• 规范事件解析：确保WebSocket消息处理逻辑完整，未过滤conversation.item.input_audio_transcription.completed和response.audio_transcript.done事件——这两个事件是OpenAI实时API的标准输出，未接收大概率是消息解析遗漏或连接异常

内容的提问来源于stack exchange，提问作者Pavan Kumar