如何在Python/scipy minimize优化后识别未被使用的变量？

在使用Python的scipy库完成最小化优化后，希望了解如何识别结果中未被使用的变量。以下是一个简单示例，其中第三个变量未被改动。除了比较初始值与结果值之外，是否有更好的方法来识别这类变量？

from scipy.optimize import minimize

def objective(x):
    return -x[0] - x[1]

x0 = 0, 0, 1.234
res = minimize(objective, x0,
               bounds = ([-10,+10], [-10,+10], [-10,+10]))
print(res.x)

# output: [10.    10.     1.234]
# res.x[2] has been left untouched compared to x0[2]

方法一：分析目标函数的梯度 #

如果变量未被目标函数使用，目标函数对该变量的梯度（导数）必然为0。通过数值或符号方法计算梯度，能直接判断变量是否被目标函数依赖：

数值梯度计算（scipy.approx_fprime） #

from scipy.optimize import approx_fprime
import numpy as np

def objective(x):
    return -x[0] - x[1]

x0 = np.array([0, 0, 1.234])
# 用机器精度的平方根作为扰动值，保证计算精度
epsilon = np.sqrt(np.finfo(float).eps)
grad = approx_fprime(x0, objective, epsilon)

print(grad)  # 输出: [-1. -1.  0.]
# 筛选梯度为0的变量索引
unused_indices = np.where(grad == 0)[0]
print(f"未被使用的变量索引: {unused_indices}")  # 输出: [2]

符号梯度计算（sympy） #

如果目标函数形式明确，用符号计算工具能精准推导梯度，还能直接检查变量是否出现在函数中：

import sympy as sp

# 定义符号变量
x0, x1, x2 = sp.symbols('x0 x1 x2')
# 定义符号化的目标函数
obj_sym = -x0 - x1

# 计算每个变量的偏导数
grad_sym = [sp.diff(obj_sym, var) for var in [x0, x1, x2]]
print(grad_sym)  # 输出: [-1, -1, 0]

# 直接判断变量是否在目标函数中出现
unused_vars = [var for var in [x0, x1, x2] if not obj_sym.has(var)]
print(f"未被使用的变量: {unused_vars}")  # 输出: [x2]

方法二：提前简化优化问题 #

通过符号分析识别出未被使用的变量后，可以直接从优化问题中移除这些变量，减少计算冗余：

from scipy.optimize import minimize

def objective_simplified(x):
    return -x[0] - x[1]

# 只保留被目标函数使用的前两个变量
x0_simplified = [0, 0]
bounds_simplified = ([-10, +10], [-10, +10])
res_simplified = minimize(objective_simplified, x0_simplified, bounds=bounds_simplified)

print(res_simplified.x)  # 输出: [10. 10.]
# 需要完整结果时，补回原未使用变量的初始值即可
full_result = np.append(res_simplified.x, 1.234)
print(full_result)  # 输出: [10.    10.     1.234]

为什么这些方法更可靠？ #

单纯对比初始值与结果值可能出现误判：比如某个变量被目标函数使用，但因处于最优边界、优化器收敛特性等原因，结果值与初始值一致。而梯度分析或符号检查能直接判断变量是否被目标函数依赖，是更本质的判断方式。

内容的提问来源于stack exchange，提问作者Nicolas Rougier