MilestoneSystems.VideoOS.Mobile.SDK NuGet：WebSocket取帧配置、限制及空帧问题咨询

1. 安装NuGet包
   在项目中安装目标包，可通过NuGet包管理器或命令行执行：

   Install-Package MilestoneSystems.VideoOS.Mobile.SDK
   

2. 初始化SDK
   在应用启动阶段完成SDK初始化，传入VMS服务器地址与合法认证信息：

   var config = new MobileSdkConfiguration
   {
       ServerAddress = "https://your-vms-server-address",
       Credentials = new NetworkCredential("username", "password")
   };
   await MobileSdk.InitializeAsync(config);
   

3. 建立WebSocket视频流连接
   指定目标摄像头ID，配置流协议、编码格式等参数后创建流客户端：

   var cameraId = "target-camera-guid";
   var streamSettings = new StreamSettings
   {
       Protocol = StreamProtocol.WebSocket,
       VideoCodec = VideoCodec.H264,
       FrameRate = 25
   };
   var streamClient = await MobileSdk.CreateStreamClientAsync(cameraId, streamSettings);
   

4. 接收并渲染视频帧
   订阅帧接收事件，将有效帧数据转换为播放控件支持的格式并渲染：

   streamClient.FrameReceived += (sender, args) =>
   {
       if (args.FrameData != null && args.FrameData.Length > 0)
       {
           // 自定义帧渲染逻辑，如转换为Bitmap并显示
           RenderVideoFrame(args.FrameData);
       }
   };
   await streamClient.StartStreamingAsync();
   

• VMS版本绑定：仅兼容Milestone XProtect系列视频管理系统，且需服务器版本与SDK版本匹配，低版本VMS可能不支持WebSocket流功能。
• 授权约束：必须持有有效的Milestone授权许可，未授权状态下可能无法建立流连接，或存在水印、分辨率限制。
• 平台局限：核心功能优先支持iOS、Android及.NET MAUI移动端平台，桌面平台支持有限，部分API仅在特定移动端环境可用。
• 流连接数量限制：单客户端同时可建立的WebSocket流数量存在上限（通常为4-8路），超出后会拒绝新连接请求。
• 会话超时机制：默认会话超时窗口在2-3分钟左右，无持续交互时会自动断开连接，需手动维护心跳或重新发起连接。

1. 添加心跳包维持会话
   手动定时发送心跳请求，避免SDK因会话超时断开连接：

   var heartbeatTimer = new Timer(async _ =>
   {
       await streamClient.SendHeartbeatAsync();
   }, null, TimeSpan.Zero, TimeSpan.FromSeconds(30));
   

2. 触发自动重连逻辑
   检测到连续空帧时，自动停止当前流并重新建立连接：

   int emptyFrameCounter = 0;
   streamClient.FrameReceived += async (sender, args) =>
   {
       if (args.FrameData == null || args.FrameData.Length == 0)
       {
           emptyFrameCounter++;
           if (emptyFrameCounter > 50) // 连续50个空帧触发重连
           {
               await streamClient.StopStreamingAsync();
               await streamClient.StartStreamingAsync();
               emptyFrameCounter = 0;
           }
       }
       else
       {
           emptyFrameCounter = 0;
           RenderVideoFrame(args.FrameData);
       }
   };
   

3. 排查网络与VMS配置

   • 检查设备与VMS服务器的网络稳定性，切换至低延迟网络测试，或降低视频流的码率、帧率以减少带宽消耗。
   • 登录XProtect Management Client，确认目标摄像头未开启带宽限制或自动暂停流策略，同时检查摄像头硬件状态是否正常。

4. 升级SDK版本
   部分旧版本SDK存在WebSocket连接泄漏或帧处理逻辑bug，升级至最新稳定版可解决此类问题。

内容的提问来源于stack exchange，提问作者L. Kvri