使用IMFTransform时配置IMFDXGIDeviceManager出现GPU解码卡顿问题

核心排查方向 #

• DXGI设备兼容性问题
  MSH264DecoderMFT对DXGI设备的版本、类型有特定要求。确保IMFDXGIDeviceManager关联的是支持H264硬件解码的DXGI设备，初始化D3D设备时需指定D3D_FEATURE_LEVEL_11_0及以上级别，且包含D3D11_CREATE_DEVICE_BGRA_SUPPORT标识。同时检查设备是否被其他组件占用，导致MFT无法获取足够GPU资源。

• 样本内存类型不匹配
  启用GPU加速后，MFT要求输入/输出样本必须是GPU内存（如ID3D11Texture2D），若仍传递系统内存样本，会导致MFT内部阻塞。需确保：

  1. 调用IMFTransform::SetOutputType时，在媒体类型中指定MF_MT_DXGI_FORMAT属性；
  2. 使用MFCreateDXGISurfaceBuffer生成兼容的GPU端缓冲区，而非MFCreateMemoryBuffer创建的系统内存缓冲区。

• 同步逻辑缺陷
  GPU加速下MFT的处理可能涉及异步GPU操作，若采用同步阻塞调用，GPU任务队列满时会卡住。建议：

  • 调用IMFTransform::GetInputStreamInfo检查是否支持异步处理，若支持，改用IMFAsyncCallback处理样本回调；
  • 每次ProcessInput后调用ID3D11DeviceContext::Flush，确保GPU命令提交完成，避免队列积压。

• GPU资源泄漏
  未正确释放DXGI表面或媒体缓冲区会导致GPU资源耗尽，引发MFT卡住。确保每个处理完的样本都调用IMFMediaBuffer::Release，DXGI设备上下文的资源也需及时回收。

关键代码检查点 #

• 初始化DXGI设备管理器时，正确关联D3D设备：

  HRESULT hr = MFCreateDXGIDeviceManager(&m_dxgimanager, &m_resetToken);
  if (SUCCEEDED(hr)) {
      hr = m_dxgimanager->ResetDevice(m_pD3DDevice, m_resetToken);
  }
  

  注意m_pD3DDevice必须是支持H264硬件解码的设备，可通过D3D11CreateDevice时检查设备的视频解码能力。

• 设置MFT的GPU相关属性：

  // 二选一，不要同时设置
  hr = m_pMFT->SetAttributes(MF_SA_DXGIDeviceManager, (IUnknown*)m_dxgimanager);
  // 或直接设置D3D设备
  // hr = m_pMFT->SetAttributes(MF_SA_D3D11_DEVICE, m_pD3DDevice);
  

• 输入样本创建（GPU内存版）：

  ID3D11Texture2D* pTexture = nullptr;
  D3D11_TEXTURE2D_DESC desc = {
      .Width = 1920,
      .Height = 1080,
      .MipLevels = 1,
      .ArraySize = 1,
      .Format = DXGI_FORMAT_NV12,
      .SampleDesc = {1, 0},
      .Usage = D3D11_USAGE_DEFAULT,
      .BindFlags = D3D11_BIND_RENDER_TARGET | D3D11_BIND_SHADER_RESOURCE,
      .CPUAccessFlags = 0,
      .MiscFlags = 0
  };
  hr = m_pD3DDevice->CreateTexture2D(&desc, nullptr, &pTexture);
  if (SUCCEEDED(hr)) {
      IMFMediaBuffer* pBuffer = nullptr;
      hr = MFCreateDXGISurfaceBuffer(__uuidof(ID3D11Texture2D), pTexture, 0, FALSE, &pBuffer);
      // 将pBuffer包装为IMFSample后传入ProcessInput
      pTexture->Release();
  }
  

调试技巧 #

• 启用DXGI调试层（D3D11_CREATE_DEVICE_DEBUG）启动程序，查看GPU资源泄漏或设备错误日志；
• 在ProcessInput前后记录样本时间戳、内存类型，确认卡住的样本是否有异常属性；
• 降低输入码率或分辨率，排查是否因GPU性能瓶颈导致队列阻塞。

内容的提问来源于stack exchange，提问作者new programmer