React Native集成Deepgram流式STT/TTS及自定义LLM栈技术问询

一、同类实现情况 #

不少开发者已经在React Native中落地过类似的流式STT-TTS-LLM技术栈，核心是靠原生层封装流式传输能力，配合JS层处理数据分片：

• Deepgram STT对接：不用等音频文件生成，直接用WebSocket把采集到的音频分片（比如每100ms一片）传给Deepgram的实时API，你手里的STT库如果支持音频流导出，直接对接即可。
• 自定义LLM流式请求：用原生fetch的流处理能力或者轻量库，在请求头里加自定义字段，逐块读取响应内容，无需等待完整返回。

二、流式TTS库推荐 #

以下几个库支持流式播放（不用等完整音频生成），适配React Native：

• react-native-tts-streaming：基于iOS/Android原生TTS引擎封装，支持把文本拆成分片后实时合成播放，可自定义语速、音调，能直接对接LLM的流式输出。
• expo-speech：官方库，虽然没明说流式，但可以把LLM返回的文本拆成短句，逐句调用speak并监听done事件来模拟流式播放，适合快速搭建原型，缺点是系统版本较低时可能存在延迟。
• 自定义原生模块：如果现成库无法满足需求，自行封装也不难——iOS用AVSpeechSynthesizer的回调获取音频数据，Android用TextToSpeech的onUtteranceProgressListener，再配合React Native的音频播放器实时播放即可。

三、STT对接Deepgram/Whisper的要点 #

你已经有STT库，对接时注意这几点：

• 音频参数匹配：Deepgram和Whisper都偏好16kHz、单声道、PCM编码的音频，确保你的STT输出符合要求。
• 优先使用WebSocket：Deepgram的WebSocket接口支持实时返回识别结果，Whisper如果是自行部署的，也可以搭建WebSocket服务做流式传输，比REST API延迟更低，还能避开VAPI的高成本。

四、自定义LLM流式请求示例 #

带自定义请求头的流式LLM请求，用原生fetch就能实现：

const streamLLM = async (prompt, customHeaders) => {
  const res = await fetch('你的LLM接口地址', {
    method: 'POST',
    headers: {
      ...customHeaders,
      'Content-Type': 'application/json',
    },
    body: JSON.stringify({ prompt, stream: true }),
  });

  const reader = res.body.getReader();
  const decoder = new TextDecoder();
  let fullResponse = '';

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    const chunk = decoder.decode(value, { stream: true });
    fullResponse += chunk;
    // 这里把chunk传给TTS做实时播放，或者更新UI
  }
  return fullResponse;
};

内容的提问来源于stack exchange，提问作者Saurabh Vyas