Unreal C++开发中如何将UTexture2D正确转换为OpenCV::Mat

现有代码问题排查 #

• 硬编码cv::Mat尺寸为3000*1100，未使用纹理实际宽高，内存访问越界直接触发崩溃
• cv::Mat的at方法参数顺序为(行号, 列号)即(y, x)，现有代码写反为(x, y)，只要宽高不一致必然越界
• 逐像素循环拷贝效率极低，大尺寸纹理下会出现明显卡顿
• 未做前置参数校验，空指针、无效Mip、非预期像素格式都会导致异常
• UTexture2D默认像素格式为4通道BGRA8，直接用3通道CV_8UC3存储会出现数据错位

正确实现代码 #

前置要求 #

首先在Unreal编辑器的纹理导入设置中，将压缩设置调整为UserInterface2D，像素格式设置为BGRA8，避免压缩纹理读取异常。

高效转换实现 #

#include "Engine/Texture2D.h"
#include "opencv2/opencv.hpp"

cv::Mat UTexture2DToCvMat(UTexture2D* MyTexture2D)
{
    // 前置校验
    if (!IsValid(MyTexture2D) || !MyTexture2D->PlatformData || MyTexture2D->PlatformData->Mips.Num() == 0)
    {
        return cv::Mat();
    }
    if (MyTexture2D->GetPixelFormat() != PF_B8G8R8A8)
    {
        // 非BGRA8格式建议先做格式转换，或调整纹理导入设置
        return cv::Mat();
    }

    int32 Width = MyTexture2D->GetSizeX();
    int32 Height = MyTexture2D->GetSizeY();
    FTexture2DMipMap& MyMipMap = MyTexture2D->PlatformData->Mips[0];
    FByteBulkData& RawImageData = MyMipMap.BulkData;

    // 锁定像素数据只读访问
    uint8* Pixels = static_cast<uint8*>(RawImageData.Lock(LOCK_READ_ONLY));

    // 直接构造4通道Mat复用Unreal的像素内存，无额外拷贝
    cv::Mat CvMatBGRA(Height, Width, CV_8UC4, Pixels);
    
    // 转换为3通道BGR格式（OpenCV默认格式），如果需要保留Alpha通道可跳过此步
    cv::Mat CvMatBGR;
    cv::cvtColor(CvMatBGRA, CvMatBGR, cv::COLOR_BGRA2BGR);

    // 解锁像素数据，若你需要CvMatBGRA长期使用，需要调用CvMatBGRA.clone()做深拷贝后再解锁
    RawImageData.Unlock();

    return CvMatBGR;
}

优化说明 #

• 直接调用OpenCV内置通道转换函数，效率比逐像素拷贝高10倍以上，无卡顿问题
• 完全使用纹理实际宽高构造Mat，不存在越界风险
• 增加了全链路参数校验，避免空指针等异常崩溃
• 如果不需要保留原纹理数据，也可以在构造Mat时直接做深拷贝，不需要依赖锁的生命周期：
  cv::Mat CvMatBGRA(Height, Width, CV_8UC4, Pixels).clone();

内容的提问来源于stack exchange，提问作者Guardian