如何让FFmpeg合并连续与间歇音频流并输出持续流？

核心是让FFmpeg以麦克风流作为主输入，始终维持输出，同时将pipe输入作为可选附加音频，无数据时自动填充静音，避免输出中断。

1. 基础FFmpeg命令配置 #

使用amix滤镜处理混音，通过shortest=0强制以麦克风流的持续时间为准，同时给pipe输入添加同步和静音填充处理：

ffmpeg \
  -f avfoundation -i ":0" \  # 麦克风输入，设备号根据实际环境调整
  -f wav -i pipe:0 \          # 客户端上传的WAV管道输入
  -filter_complex "
    [1:a]aresample=async=1:min_hard_comp=0.1:first_pts=0,apad[secondary];
    [0:a][secondary]amix=inputs=2:duration=longest[out]
  " \
  -map "[out]" \
  -c:a aac \
  -f hls \
  -hls_time 2 \
  -hls_list_size 10 \
  -hls_flags delete_segments \
  ./hls_output/output.m3u8

关键参数说明 #

• aresample=async=1: 同步pipe输入与麦克风的时钟，避免不同步导致的流中断
• apad: 当pipe输入无数据时自动填充静音，保证混音滤镜始终有有效输入
• amix=inputs=2:duration=longest: 强制以持续时间更长的麦克风流为准，持续输出HLS流

2. NestJS中Pipe输入的处理逻辑 #

在NestJS里需要确保pipe输入的数据流即使暂时没有客户端上传，也保持管道不关闭，否则FFmpeg会判定输入结束。

示例代码片段 #

import { Injectable } from '@nestjs/common';
import { spawn } from 'child_process';
import { PassThrough } from 'stream';

@Injectable()
export class AudioStreamingService {
  private ffmpegProcess: any;
  private pipeStream = new PassThrough(); // 维持管道始终打开状态

  startHlsStream() {
    const ffmpegArgs = [
      '-f', 'avfoundation', '-i', ':0',
      '-f', 'wav', '-i', 'pipe:0',
      '-filter_complex', '[1:a]aresample=async=1:min_hard_comp=0.1:first_pts=0,apad[secondary];[0:a][secondary]amix=inputs=2:duration=longest[out]',
      '-map', '[out]',
      '-c:a', 'aac',
      '-f', 'hls',
      '-hls_time', '2',
      '-hls_list_size', '10',
      '-hls_flags', 'delete_segments',
      './hls_output/output.m3u8'
    ];

    this.ffmpegProcess = spawn('ffmpeg', ffmpegArgs, {
      stdio: ['pipe', 'inherit', 'inherit']
    });

    // 将PassThrough流接入FFmpeg的标准输入
    this.pipeStream.pipe(this.ffmpegProcess.stdin);

    // 监听FFmpeg进程错误，避免意外退出
    this.ffmpegProcess.on('error', (err) => {
      console.error('FFmpeg进程异常:', err);
    });
  }

  // 接收客户端上传的WAV分段数据
  async pushAudioSegment(buffer: Buffer) {
    if (!this.ffmpegProcess) {
      throw new Error('HLS流未启动');
    }
    // 将分段音频数据写入管道
    this.pipeStream.write(buffer);
  }
}

核心要点 #

• 用PassThrough流作为中间层，即使无客户端上传数据，管道也保持打开，FFmpeg不会判定输入结束
• 客户端上传的WAV分段直接写入PassThrough流，FFmpeg自动处理混音逻辑
• 确保FFmpeg进程启动时就连接好管道，不要动态添加/移除输入源

3. 额外注意事项 #

• 麦克风设备号需根据实际环境调整，可通过ffmpeg -f avfoundation -list_devices true -i ""命令查看设备列表
• 若客户端上传的WAV参数（采样率、声道数）与麦克风不一致，aresample会自动转换，建议提前统一参数以减少性能开销
• HLS输出目录需提前创建，确保FFmpeg有写入权限
• 可添加进程守护逻辑，避免FFmpeg意外退出后自动重启

内容的提问来源于stack exchange，提问作者gian848396