为RealityKit的VideoMaterial添加真实世界光照效果

可以实现这个效果，RealityKit的VideoMaterial默认不会自动响应环境光照，需要通过两种方式手动处理：

方法一：利用ARSession的环境光照数据动态调整材质亮度 #

ARKit会实时捕捉环境的光照强度，我们可以通过ARSession的代理获取该数据，然后动态更新VideoMaterial的亮度参数：

1. 配置ARSession并实现代理方法：

import ARKit
import RealityKit

class ARViewController: UIViewController, ARSessionDelegate {
    var arView: ARView!
    var videoEntity: ModelEntity!

    override func viewDidLoad() {
        super.viewDidLoad()
        arView = ARView(frame: view.bounds)
        view.addSubview(arView)
        arView.session.delegate = self

        // 创建视频材质并绑定到平面实体
        guard let videoURL = Bundle.main.url(forResource: "your-video", withExtension: "mp4") else { return }
        let videoMaterial = VideoMaterial(avPlayer: AVPlayer(url: videoURL))
        videoEntity = ModelEntity(mesh: MeshResource.generatePlane(width: 1, depth: 1), materials: [videoMaterial])
        arView.scene.addAnchor(videoEntity)
        videoEntity.playAnimation(AnimationResource.generatePlaybackAnimation(), transitionDuration: 0.25)
    }

    func session(_ session: ARSession, didUpdate frame: ARFrame) {
        guard let lightEstimate = frame.lightEstimate else { return }
        // 归一化光照强度（ARKit返回的ambientIntensity范围约0-2000）
        let normalizedIntensity = lightEstimate.ambientIntensity / 1000
        // 限制亮度范围，避免过曝或过暗
        let adjustedIntensity = min(max(normalizedIntensity, 0.3), 2.0)

        // 更新VideoMaterial的亮度参数
        if var currentMaterial = videoEntity.model?.materials.first as? VideoMaterial {
            currentMaterial.baseColor = .init(tint: .white, intensity: adjustedIntensity)
            videoEntity.model?.materials = [currentMaterial]
        }
    }
}

2. 注意细节：

• 光照数据可能存在波动，可添加平滑算法（比如取最近5帧的平均值）避免亮度跳变
• 可根据视频的原始亮度调整adjustedIntensity的上下限，让变化更贴合场景

方法二：使用自定义Shader实现精细化光照响应 #

如果需要同时响应环境光的颜色变化，可通过自定义Shader替代默认VideoMaterial：

1. 在Reality Composer Pro中创建Shader Graph：

• 添加Video Texture节点作为基础颜色输入
• 添加Environment Light Intensity和Environment Light Color节点获取环境光照数据
• 将视频纹理的RGB通道与光照强度、光照颜色相乘，输出到Final Color节点
• 保存为自定义材质

2. 在代码中加载并应用自定义材质：

// 加载自定义光照响应材质
guard let customMaterial = try? CustomMaterial.load(named: "LightResponsiveVideoMaterial") else { return }
// 绑定视频资源
customMaterial.setTexture(AVPlayer(url: videoURL), for: .baseColor)
videoEntity.model?.materials = [customMaterial]

这种方式能让视频完全贴合AR场景的环境光照特性，效果更真实自然。

内容的提问来源于stack exchange，提问作者user1207524