Unity中Vuforia自定义图像输入及视频流录制回放技术咨询

一、Override Vuforia的图像输入（自定义图像喂入） #

Vuforia其实提供了官方的帧替换API，你之前没找到的核心方法是SetFrameProvider，具体实现步骤如下：

• 第一步：创建自定义帧提供类，实现Vuforia.ICameraDeviceFrameProvider接口。这个类负责把你的自定义图像（预录制视频帧、本地图片等）转换成Vuforia兼容的格式：

  using UnityEngine;
  using Vuforia;
  
  public class CustomFrameProvider : MonoBehaviour, ICameraDeviceFrameProvider
  {
      public Texture2D currentPlaybackFrame; // 用于传入回放的单帧图像
  
      public bool Start()
      {
          // 初始化逻辑，比如加载预录制的视频资源
          return true;
      }
  
      public bool Stop()
      {
          // 停止时的资源清理
          return true;
      }
  
      public bool GetCameraFrame(out CameraDevice.Frame frame)
      {
          // 将自定义Texture包装成Vuforia需要的Frame结构
          frame = new CameraDevice.Frame();
          frame.ExposureTime = 0.01f; // 模拟相机曝光时间，可按需调整
          frame.Format = Image.PIXEL_FORMAT.RGB888;
          frame.Width = currentPlaybackFrame.width;
          frame.Height = currentPlaybackFrame.height;
          frame.Buffer = currentPlaybackFrame.GetRawTextureData();
          return true;
      }
  
      public bool SetCameraParameters(CameraDevice.CameraParameters parameters)
      {
          // 可根据需求调整分辨率等参数
          return true;
      }
  }
  

• 第二步：在Vuforia初始化完成后替换默认相机帧提供器。建议在专门的初始化脚本里执行：

  using UnityEngine;
  using Vuforia;
  
  public class VuforiaCustomFeedSetup : MonoBehaviour
  {
      public CustomFrameProvider customFrameProvider;
  
      void Start()
      {
          VuforiaARController.Instance.RegisterVuforiaStartedCallback(OnVuforiaReady);
      }
  
      void OnVuforiaReady()
      {
          // 先停止默认相机设备
          CameraDevice.Instance.Stop();
          // 绑定自定义帧提供器
          CameraDevice.Instance.SetFrameProvider(customFrameProvider);
          // 重启相机，此时Vuforia会使用你的自定义帧输入
          CameraDevice.Instance.Start();
      }
  }
  

  关键点：必须等Vuforia完全启动后再替换帧提供器，否则会导致替换失效。

二、录制Vuforia视频流并回放（带跟踪控制） #

这个需求可以拆成录制和回放+跟踪启停两部分实现：

1. 录制视频流 #

通过Vuforia的帧回调抓取实时画面，可选择保存为序列帧或直接录制视频：

• 注册帧回调获取实时帧数据：

  void OnVuforiaReady()
  {
      // 注册RGB格式的帧回调
      CameraDevice.Instance.RegisterFrameCallback(OnFrameCaptured, CameraDevice.CAMERA_IMAGE.RGB);
  }
  
  void OnFrameCaptured(Image image)
  {
      // 将Vuforia的Image对象转换成Texture2D
      Texture2D frameTexture = new Texture2D(image.Width, image.Height, TextureFormat.RGB24, false);
      frameTexture.LoadRawTextureData(image.Pixels);
      frameTexture.Apply();
  
      // 示例：保存为PNG序列帧（实际项目推荐用Unity VideoCapture录制视频文件）
      byte[] frameBytes = frameTexture.EncodeToPNG();
      string savePath = $"{Application.persistentDataPath}/recorded_frame_{Time.frameCount}.png";
      System.IO.File.WriteAllBytes(savePath, frameBytes);
  }
  

2. 回放视频流+控制跟踪 #

回放时，把录制的帧序列通过上面的自定义帧提供器喂给Vuforia，再通过Vuforia的Tracker API控制跟踪启停：

• 回放逻辑：加载录制的序列帧，逐帧赋值给CustomFrameProvider的currentPlaybackFrame
• 跟踪控制代码示例：

  // 禁用图像跟踪
  public void TurnOffImageTracking()
  {
      var objectTracker = TrackerManager.Instance.GetTracker<ObjectTracker>();
      if (objectTracker != null && objectTracker.IsActive)
      {
          objectTracker.Stop();
      }
  }
  
  // 启用图像跟踪
  public void TurnOnImageTracking()
  {
      var objectTracker = TrackerManager.Instance.GetTracker<ObjectTracker>();
      if (objectTracker != null && !objectTracker.IsActive)
      {
          objectTracker.Start();
      }
  }
  

  小技巧：如果需要精准同步回放帧和跟踪状态，可以在录制时同时记录帧时间戳和跟踪开关状态，回放时根据时间戳触发对应的控制逻辑。

内容的提问来源于stack exchange，提问作者user3053470