基于Mitsuba 3的球体位置梯度优化问题求助

问题根源 #

你遇到的报错是因为Mitsuba优化器仅支持可微基础类型（比如Float、ArrayXf）作为优化变量，而Transform4f是复合变换结构，无法直接被优化器识别并计算梯度。另外球体属于参数化几何体，没有网格类物体的vertex_positions属性，所以没法套用姿态估计教程里的网格顶点优化逻辑。

可行解决方案：拆解变换参数优化 #

核心思路是把球体的to_world变换拆解成独立的可微参数（比如平移、旋转、缩放分量），将这些基础参数加入优化器，每次迭代时用更新后的参数重新构建Transform4f并赋值给球体。

具体步骤

1. 提取初始变换参数：从当前球体的to_world中提取平移、旋转等初始值，作为优化起点。比如只优化位置的话，先获取初始平移向量：

   # 获取球体当前的平移向量
   init_translate = s.to_world.translation()
   # 用可微数组包装平移参数
   translate = dr.variable(init_translate)
   

2. 将参数加入优化器：把拆解后的可微参数添加到优化器，替换原来直接传入的s.to_world：

   optimizer = dr.ad.Adam(lr=0.01)
   optimizer['translate'] = translate
   

3. 迭代更新变换：每次优化循环里，用最新参数重新构建Transform4f，赋值给球体的to_world后再执行渲染、损失计算和梯度更新：

   for i in range(100):
       # 构建新变换：仅更新平移，保留原有旋转缩放
       new_transform = dr.Transform4f.translate(translate) @ s.to_world.rotate_scale()
       s.to_world = new_transform
       
       # 渲染场景、计算损失、反向传播
       img = scene.render()
       loss = dr.sum(dr.sqr(img - target_img))
       dr.backward(loss)
       
       # 更新优化参数
       optimizer.step()
       optimizer.zero_grad()
   

补充说明 #

• 如果需要同时优化旋转和缩放，同理拆解对应可微参数（比如用欧拉角/四元数表示旋转，三个Float表示缩放），再组合成完整变换。
• 所有拆解后的参数必须用dr.variable()包装，确保Mitsuba能追踪其梯度。

内容的提问来源于stack exchange，提问作者Daniel Darabos