PyTorch L-BFGS能否优化复数参数？求可行解决方案

解决思路与可行方案 #

1. 手动修改PyTorch L-BFGS源码适配复数

你想把点积替换成real(a.conj() * b)的思路完全可行。因为复数空间里，优化需要的方向导数本质是梯度与搜索方向的厄米点积的实部，这是实数空间点积的推广，能保证得到实数值用于收敛判断等逻辑。

具体操作：

• 找到报错的lbfgs.py文件（路径如你给出的xx\Python\Python38\lib\site-packages\torch\optim\lbfgs.py）
• 定位到计算gtd的代码（报错行附近，原代码大概是gtd = g.dot(d)），替换成：

  gtd = (g.conj() * d).sum().real
  

• 检查代码中其他涉及梯度与方向点积的地方（比如曲率更新、历史记录部分），把所有需要实数值的点积都改成厄米点积的实部形式。

修改后L-BFGS就能正常处理复数参数，所有用于算法逻辑的数值都会是实数，符合算法要求。

2. 用第三方支持复数的L-BFGS实现

不想改源码的话，可以用第三方库的实现，比如结合scipy.optimize.minimize的L-BFGS-B方法：把PyTorch参数转成numpy数组，手动用PyTorch算损失和梯度，再传给scipy优化器。示例框架：

import torch
from scipy.optimize import minimize

# 把模型参数转成numpy数组
x0 = solver.X.detach().cpu().numpy()

def func(x):
    solver.X.data = torch.tensor(x, dtype=torch.complex128)
    Y = model.forward()
    return Y.item()

def grad_func(x):
    solver.X.data = torch.tensor(x, dtype=torch.complex128)
    optimizer.zero_grad()
    Y = model.forward()
    Y.backward()
    return solver.X.grad.detach().cpu().numpy()

# 调用scipy的L-BFGS-B
result = minimize(func, x0, jac=grad_func, method='L-BFGS-B')

# 把优化后的参数放回模型
solver.X.data = torch.tensor(result.x, dtype=torch.complex128)

如果scipy默认处理实数有问题，还可以把复数拆成实部+虚部拼接成实数数组传入，优化后再合并回复数。

3. 关于需求的可行性

你的需求完全可以实现：输出Y是实标量，复数参数的梯度通过自动微分能得到合理的复数结果，只要把L-BFGS里的关键点积操作换成厄米形式，就能在复数空间正常运行，这完全符合复数希尔伯特空间的优化理论。

内容的提问来源于stack exchange，提问作者Nihar Karve