使用Julia ForwardDiff实现自动微分时遇方法匹配错误求解决

问题代码 #

用户尝试用ForwardDiff实现自动微分计算OLS损失的梯度，代码如下：

using LinearAlgebra
import ForwardDiff

function OLS(X,Y,beta)
    f = (Y - X*beta)'*(Y - X*beta)   
end

n = 100
beta = [1.0, 2.2]
X = [ones(n) rand(n)]
Y = X*beta + randn(n) 
beta_hat = inv(X'X)*X'Y;

beta_AD = ForwardDiff.gradient(OLS,beta_hat)

错误信息 #

运行后触发MethodError：

ERROR: LoadError: MethodError: no method matching OLS(::Vector{ForwardDiff.Dual{ForwardDiff.Tag{typeof(OLS), Float64}, Float64, 2}})
Closest candidates are:
  OLS(::Any, ::Any, ::Any) at C:\Users\zhanglu\Documents\Julia\lecture-julia.notebooks\AD_Examples.jl:4
Stacktrace:
 [1] vector_mode_dual_eval!(f::typeof(OLS), cfg::ForwardDiff.GradientConfig{ForwardDiff.Tag{typeof(OLS), Float64}, Float64, 2, Vector{ForwardDiff.Dual{ForwardDiff.Tag{typeof(OLS), Float64}, Float64, 2}}}, x::Vector{Float64})

错误原因 #

ForwardDiff.gradient要求传入的目标函数是单参数函数——仅接收待求导的变量作为输入。但你定义的OLS函数需要三个参数(X,Y,beta)，调用ForwardDiff.gradient(OLS, beta_hat)时，它只会把beta_hat作为唯一参数传入OLS，导致参数数量不匹配，触发方法不存在的错误。

修正代码 #

通过匿名函数将X和Y固定，把OLS包装成仅接收beta作为参数的单变量函数：

using LinearAlgebra
import ForwardDiff

function OLS(X,Y,beta)
    f = (Y - X*beta)'*(Y - X*beta)   
end

n = 100
beta_true = [1.0, 2.2]  # 重命名避免变量名冲突
X = [ones(n) rand(n)]
Y = X*beta_true + randn(n) 
beta_hat = inv(X'X)*X'Y;

# 用匿名函数封装，仅将beta作为待求导参数传入
beta_AD = ForwardDiff.gradient(beta -> OLS(X,Y,beta), beta_hat)

验证说明 #

OLS损失函数的梯度解析解为-2X'(Y - Xβ)，由于beta_hat是最小二乘最优解，理论上该点梯度应接近0。运行修正后的代码，beta_AD会输出接近0的向量，符合预期。

内容的提问来源于stack exchange，提问作者zlqs1985