Hololens 2 能否通过USB实现Unity开发下与PC的实时视频帧传输？

核心结论 #

通过USB链路实现HoloLens 2到PC、甚至PC到HL2的双向实时视频传输是完全可落地的，带宽、延迟都能满足后续自定义视频帧处理的开发需求，不需要依赖WiFi无线网络。

具体实现路径 #

• 首先打通USB直连的网络基底：HoloLens 2通过USB-C连接PC时，系统原生支持启用USB NCM虚拟以太网网卡，连接成功后会自动给设备分配直连固定IP段，不需要安装第三方驱动。该链路基于USB 3.2 Gen1物理层，理论带宽5Gbps，实际跑1080p60硬编码视频的带宽占用不到40Mbps，延迟可稳定控制在50ms以内，比WiFi链路稳定性高一个量级。
• 适配现有WebRTC方案的异常问题：你之前用Mixed Reality-WebRTC无法正常运行，核心原因基本是链路优先级匹配错误——默认的WebRTC实现会优先探测WiFi链路，在HL2未连接WiFi时直接触发媒体协商失败，就算连上WiFi也会走高延迟的WiFi通道而不是USB直连链路。适配时只需要手动强制WebRTC的网络候选绑定USB虚拟网卡的IP地址，关闭公网STUN服务器的请求逻辑，就能直接跑通HL2推流到PC、PC反向推流回HL2的双向流场景，同时可以直接拿到编码后的H.264帧、解码后的原始纹理做自定义处理。
• 如果不想调试WebRTC的网络绑定逻辑，可以换更轻量化的自研传输链路：HL2端调用系统Media Foundation API采集摄像头画面/应用内渲染的全息画面，调用系统硬编码器输出H.264码流，通过USB虚拟网卡的UDP通道直接推送到PC端，自己实现简单的拆包、组包、丢帧重传逻辑，整体延迟比通用WebRTC实现还能再低20%左右，开发量远低于自行开发USB Bulk传输的自定义驱动。

现有WebRTC方案快速排查点 #

• 检查HL2端USB连接状态：在HL2的系统设置>网络面板中，确认连接USB后是否出现“USB以太网”的已连接标识，不要仅依赖WiFi连接状态判断链路可用性。
• 关闭WebRTC的公网穿透配置：走USB直连场景时不需要STUN/TURN公网穿透服务，原有配置如果携带公网服务器地址，在HL2未访问公网时会直接卡住媒体协商流程。
• 手动绑定视频输入源：不要依赖WebRTC默认的系统屏幕采集组件，直接把Unity场景中需要传输的RenderTexture作为视频源喂给WebRTC编码器，可避免采集黑屏、帧延迟过高的问题。

视频帧处理适配提示 #

• 流处理环节可以直接对接编码后的H.264码流做分析，不需要全量解码，能大幅降低PC端的处理开销。
• 反向回传视频到HL2端时，将PC端处理完的画面通过系统硬编码器压缩为H.264码流，走同一个USB虚拟网卡通道推回HL2，在Unity端用轻量解码组件直接渲染到指定显示组件即可，不需要额外增加传输链路开销。

内容的提问来源于stack exchange，提问作者Hell stormer