HoloLens2 桌面高质量音频流传输及mrtk webrtc配置咨询

现有MRTK WebRTC方案音质优化方法 #

你当前用的MRTK WebRTC默认走语音通话配置，所有音频处理开关都没有暴露在Unity可视化面板中，可以通过以下方式修改配置实现高音质传输：

• 替换默认音频轨道源：不要直接用组件自带的MicrophoneSource作为音频输入，自定义继承AudioTrackSource的类，在初始化原生音频轨道时传入自定义的RtpAudioParameters，将echoCancellation（回声消除）、noiseSuppression（降噪）、autoGainControl（自动增益）三个参数全部设为false，这三个模块是导致音质发闷、动态被压缩的核心原因。
• 强制修改Opus编码参数：WebRTC默认给Opus编码设置的是32kbps单声道语音配置，需要在SDP协商阶段手动修改Opus的fmtp参数：
  • stereo=1 开启双声道
  • maxaveragebitrate=256000 局域网环境下设置256kbps码率，完全满足音乐类内容的音质要求
  • useinbandfec=0 关闭前向纠错，局域网丢包率极低不需要该功能带来的额外音质损失
  • sprop-stereo=1 告知对端发送双声道流

注意：MRTK WebRTC 2.0及以上版本才开放了自定义RTP参数和SDP修改的接口，1.x版本没有对应入口，需要先升级包版本。

• 去掉虚拟声卡链路：不要用Virtual Cable做系统音频路由，直接在Max/MSP端写自定义WebRTC音频源，把处理完的PCM数据直接喂给WebRTC音频轨道，跳过虚拟声卡的重采样、格式转换带来的音质损失。

同局域网场景下更优的替代传输方案 #

WebRTC本身是为公网弱网环境设计的，自带大量抗丢包、带宽适配逻辑，在稳定局域网环境下反而有额外开销，以下两种方案更适配Max到HoloLens的3D音频传输场景，延迟和音质都比调优后的WebRTC更好：

• 方案1：UDP自定义音频流
  该方案是同局域网低延迟音频传输的首选，端到端延迟可以稳定控制在20ms以内，完全匹配头动跟踪的3D音频实时性要求：
  1. Max端直接用内置的udpsend对象，将处理完成的16bit/48kHz PCM音频按20ms切片（单块960采样点，双声道共1920采样点），附带简单的序号头直接通过UDP发送到HoloLens的固定端口
  2. Unity端开独立后台线程接收UDP包，维护3帧（60ms）的抖动缓存，通过OnAudioFilterRead回调直接把PCM数据喂给Unity音频引擎播放，全程无转码音质无损，代码量不超过100行。如果担心带宽占用，可以在Max端接入轻量Opus编码插件，256kbps码率下音质和无损无感知差异，带宽占用仅为裸PCM的1/6。
• 方案2：微软StreamSocket TCP传输
  如果你后续需要同步传输姿态数据、控制指令甚至画面内容，可以直接用UWP原生的StreamSocket做TCP传输，没有WebRTC的额外协议开销，音频编码、缓存策略完全自定义，不会默认开启任何语音处理逻辑，稳定性比UDP更好，延迟可以控制在50ms以内，完全满足交互要求。
• 避坑提示：不要使用Unity自带的UnityWebRequest音频接口、HTTP渐进下载这类方案做实时流传输，这类方案的缓存策略默认是为点播设计的，端到端延迟普遍在500ms以上，无法匹配头动更新的3D音频实时性要求。

内容的提问来源于stack exchange，提问作者Lucid