Node.js使用fluent-ffmpeg合并多视频流式输出仅首视频生效问题

问题原因 #

你遇到的问题是默认的mergeAdd方法使用ffmpeg的concat demuxer实现拼接，对输入文件的编码参数、分辨率、帧率、时间基等属性一致性要求极高，只要有一个参数不匹配，ffmpeg就会在第一个文件处理完成后终止输出，导致流只有第一段内容。

可行解决思路 #

• 使用concat滤镜替代默认的concat demuxer：concat滤镜会自动对齐所有输入文件的编码、分辨率、帧率参数，不需要输入文件完全一致，更适合流式输出场景，性能开销略高于demuxer模式但兼容性更好。
• 显式指定统一的输出编码参数：避免ffmpeg自动推导参数时出现跳变，导致webm流解析中断，推荐显式指定视频编码器、音频编码器、帧率等参数。
• 配置webm流式输出专属参数：默认的webm输出会把元数据放在文件末尾，流式传输时前端无法解析后续分片，需要配置分片参数让输出的每一段都可以独立解析。
• 若追求性能要使用concat demuxer：需提前预处理所有输入文件，保证所有文件的编码格式、分辨率、帧率、采样率、SAR比例、时间基完全一致，再用mergeAdd拼接。

修复后代码示例 #

res.set('content-type', 'video/webm');    
var proc = ffmpeg()
        // 按顺序添加所有输入文件
        .input('file-1.webm')
        .input('file-2.webm')
        .input('file-3.webm')
        // 配置concat滤镜，n为输入文件数量，v=1保留视频，a=1保留音频，无音频则设a=0
        .complexFilter([
          'concat=n=3:v=1:a=1[v][a]'
        ])
        // 映射滤镜输出的视频、音频流
        .outputOptions('-map', '[v]')
        .outputOptions('-map', '[a]')
        // 显式指定webm标准编码器
        .videoCodec('libvpx')
        .audioCodec('libvorbis')
        .format('webm')
        .size('680x?')
        // 配置webm流式输出参数，每1M或1秒生成一个可独立解析的分片
        .outputOptions('-cluster_size_limit', '1M')
        .outputOptions('-cluster_time_limit', '1000')
        .on('end', function() {
          console.log('文件转换成功');
        })
        .on('error', function(err) {
          console.log('发生错误: ' + err.message);
        })
        // 输出到响应流
        .pipe(res, {end:true})

注意事项 #

如果输入视频没有音频轨，需要把concat滤镜配置改为concat=n=3:v=1:a=0，同时删除.outputOptions('-map', '[a]')和音频编码器配置行。

内容的提问来源于stack exchange，提问作者Hadi Aghandeh