UE5插件开发：如何在渲染管线内执行每帧更新代码？

针对你无法修改引擎源码、需要在渲染线程严格按帧节奏更新CUDA纹理的需求，以下是两个可行的落地方向：

方向一：使用FSceneViewExtension绑定帧渲染流程 #

这是最贴合你需求的方案，FSceneViewExtension是UE提供的插件友好扩展点，能在渲染线程的每帧视图渲染周期内固定触发回调，完全遵循帧渲染节奏，无需修改引擎源码。

实现步骤 #

1. 自定义视图扩展类
   继承FSceneViewExtensionBase，重写PreRenderViewFamily或PreRenderView方法——这两个方法会在渲染线程每帧渲染视图前执行，能直接拿到当前FSceneView实例：

   class FViewDependentTextureExtension : public FSceneViewExtensionBase
   {
   public:
       FViewDependentTextureExtension(UPrimitiveComponent* TargetComp, UTexture2D* TargetTex)
           : TargetComponent(TargetComp), ViewTexture(TargetTex) {}
   
       virtual void PreRenderView(FSceneView& View) override
       {
           // 判断当前视图是否为目标相机
           bool bIsTargetView = IsTargetCamera(&View);
   
           // 仅在目标视图且当前帧未更新过时执行CUDA纹理更新
           static uint32 LastUpdateFrame = 0;
           uint32 CurrentFrame = GFrameCounter;
           if (bIsTargetView && CurrentFrame != LastUpdateFrame)
           {
               LastUpdateFrame = CurrentFrame;
               // 从View中提取相机参数（投影矩阵、视图位置等）
               FMatrix ProjMat = View.ProjectionMatrix;
               FVector ViewLoc = View.ViewLocation;
               
               // 调用CUDA DLL更新纹理（需确保CUDA与UE RHI资源互操作）
               void* TextureResource = ViewTexture->GetRenderTargetResource()->GetRenderTargetTexture()->GetNativeResource();
               CUDA_UpdateViewTexture(TextureResource, ViewTexture->SizeX, ViewTexture->SizeY, ProjMat.M, ViewLoc);
           }
   
           // 切换材质状态：给目标组件的材质实例设置控制参数
           if (TargetComponent && TargetComponent->GetRenderProxy())
           {
               auto Proxy = static_cast<FDynamicPrimitiveComponentSceneProxy*>(TargetComponent->GetRenderProxy());
               if (auto MID = Proxy->GetMaterialInstanceDynamic(0))
               {
                   MID->SetScalarParameterValue(FName("bUseViewTexture"), bIsTargetView ? 1.0f : 0.0f);
                   if (bIsTargetView)
                   {
                       MID->SetTextureParameterValue(FName("ViewDependentTex"), ViewTexture);
                   }
               }
           }
       }
   
   private:
       bool IsTargetCamera(FSceneView* View)
       {
           // 根据你的需求判断相机（比如标签、ActorID）
           if (AActor* CameraActor = View->Family->GetPrimaryActor()->GetOwner())
           {
               return CameraActor->ActorHasTag(FName("TargetRenderCamera"));
           }
           return false;
       }
   
       UPrimitiveComponent* TargetComponent;
       UTexture2D* ViewTexture;
   };
   

2. 注册/注销扩展
   在插件模块的启动/关闭函数中完成扩展的注册，确保它随插件生命周期存在：

   void FMyPluginModule::StartupModule()
   {
       // 假设TargetComponent和ViewTexture已提前初始化
       ViewExtension = MakeShared<FViewDependentTextureExtension>(TargetComponent, ViewTexture);
       FSceneViewExtensions::RegisterExtension(ViewExtension);
   }
   
   void FMyPluginModule::ShutdownModule()
   {
       if (ViewExtension.IsValid())
       {
           FSceneViewExtensions::UnregisterExtension(ViewExtension);
           ViewExtension.Reset();
       }
   }
   

方向二：在PrimitiveSceneProxy的绘制流程中触发更新 #

如果你的纹理更新仅和特定Primitive的渲染绑定，可以直接在其SceneProxy的DrawDynamicElements方法中处理——这个方法会在渲染线程绘制该Primitive时触发，天然贴合渲染节奏，还能避免全局更新的性能浪费。

核心代码示例 #

void FMyPrimitiveSceneProxy::DrawDynamicElements(FPrimitiveDrawInterface* PDI, const FSceneView* View)
{
    bool bIsTargetView = IsTargetCamera(View);
    static uint32 LastUpdateFrame = 0;
    uint32 CurrentFrame = GFrameCounter;

    // 每帧仅更新一次纹理
    if (bIsTargetView && CurrentFrame != LastUpdateFrame)
    {
        LastUpdateFrame = CurrentFrame;
        // 调用CUDA更新纹理逻辑同方向一
        UpdateTextureWithCUDA(View);
    }

    // 切换材质：直接设置覆盖材质或调整参数
    if (bIsTargetView)
    {
        PDI->SetOverrideMaterial(ViewTextureMaterial);
    }
    else
    {
        PDI->SetOverrideMaterial(BlackMaterial);
    }

    // 执行网格绘制逻辑
    DrawMesh(PDI);
}

关键注意事项 #

1. CUDA与UE RHI互操作：直接操作UE纹理资源时，需根据UE使用的渲染API（DirectX/OpenGL）调用对应的CUDA互接口（如cudaD3D11RegisterResource），避免数据拷贝开销。
2. 线程安全：所有CUDA纹理更新逻辑必须在渲染线程执行，绝对不能在游戏线程调用CUDA接口。
3. 帧去重：用GFrameCounter记录上次更新的帧号，避免同一帧内多次触发冗余更新。

内容的提问来源于stack exchange，提问作者limserhane