寻求Node.js实现本地循环视频多语言音频同步流的技术方案

协议选择 #

优先选低延迟HLS（LL-HLS），是当前最适配需求的流媒体协议：

• 全移动端浏览器原生支持，不需要客户端安装额外插件，JS可直接调用播放器API操作
• 原生支持多音轨封装，用户可直接在播放器层切换语言
• 基于HTTP传输，局域网下稳定性高，切片粒度可自定义，最低可把端到端延迟压到1s以内，完全满足和外接显示屏画面同步的需求

服务端Node.js生态工具选型 #

• 音视频处理核心用fluent-ffmpeg：是FFmpeg的Node.js封装层，可直接实现所有需要的音视频操作：
  • 支持读取带多内置音轨的视频，也支持关联独立外挂音频文件，转封装时直接对齐时间轴生成多音轨流
  • 可同时输出两路流：一路解码后输出到外接显示屏循环播放，另一路转成LL-HLS切片推送到本地目录
  • 循环播放逻辑可直接在Node.js层监听FFmpeg进程结束事件，结束后自动重启转码进程即可
• 流媒体服务可用node-media-server：轻量级Node.js流媒体服务，开箱支持HLS分发，不用自己写静态托管逻辑，10行以内配置代码就能启动服务
• 同步校准工具用ws：轻量WebSocket库，服务端每200ms广播一次当前视频播放的时间戳，客户端收到后如果本地播放进度和服务端偏差超过500ms就自动触发seek校准，可实现毫秒级音画同步

客户端实现方案 #

• 播放器优先用原生HTML5 <audio>/<video>标签，原生支持HLS多音轨切换，全屏可直接调用浏览器原生Fullscreen API
• 如果需要兼容更低版本移动端浏览器，可引入hls.js：纯JS实现的HLS播放器，无原生依赖，支持自定义音轨切换、进度校准逻辑，体积不到100KB
• 移动端应用可直接打包成PWA，用户访问网页后可直接添加到桌面，和原生应用使用体验一致，不需要上架应用商店

最简落地流程 #

1. 配置fluent-ffmpeg转码参数，设置HLS分片时长为1s，分片列表长度为3，添加多音轨映射规则，同时开启视频输出到外接显示屏
2. 启动node-media-server托管HLS流，同时启动ws服务定时推送当前播放进度
3. 前端开发两个页面：频道选择页拉取服务端可用流列表，播放页实现流拉取、音轨切换、进度校准、全屏功能

内容的提问来源于stack exchange，提问作者AhmadMhd