BoTorch多保真优化中非线性约束与scipy.minimize报错求助

问题根源 #

触发element 0 of tensors does not require grad and does not have a grad_fn错误的核心原因是梯度计算链被破坏，具体体现在约束函数、初始条件生成的多个错误操作上：

1. 约束函数中重新构造输入张量，切断了原始梯度链路
2. 使用.item()将张量转为标量，破坏计算图
3. 约束函数的批量处理逻辑错误，提前返回导致维度不匹配
4. 初始条件张量未启用梯度

具体修复方案 #

1. 修复约束函数的梯度与逻辑问题 #

删除破坏梯度的张量重构操作，保留批量张量运算，确保梯度能正常传递：

def constraint(X):
    """
    验证张量X的约束条件，返回满足状态的张量（≥0表示满足约束）
    Args:
        X (Tensor): 形状为(d,) / (batch_size, d) / (num_batches, batch_size, d)的输入张量
    Returns:
        Tensor: 对应每个样本的约束满足状态，满足为1.0，不满足为-1.0
    """
    # 统一输入维度为(num_batches, batch_size, d)
    if X.ndim == 1:
        X = X.unsqueeze(0).unsqueeze(0)
    elif X.ndim == 2:
        X = X.unsqueeze(0)
    elif X.ndim != 3:
        raise ValueError(f"不支持的张量维度: {X.ndim}")
    
    # 直接使用原始输入张量，避免重构切断梯度
    num_batches, batch_size, _ = X.shape
    results = torch.full((num_batches, batch_size), -1.0, dtype=torch.float, device=X.device)
    
    # 批量计算约束条件（保留张量操作，不破坏梯度）
    rows = X[..., :7]  # 取前7列（原代码注释与实际操作不一致，这里统一）
    non_zero_cols = (rows > 0).sum(dim=-1)  # 计算非零列数
    sum_cols = rows.sum(dim=-1)  # 计算前7列和
    
    # 约束条件：非零列数≤4 且 列和≤75
    valid_mask = (non_zero_cols <= 4) & (sum_cols <= 75)
    results[valid_mask] = 1.0
    results[~valid_mask] = -1.0
    
    return results

2. 修复初始条件的梯度设置 #

生成初始条件时直接启用梯度，避免后续优化时无梯度可用：

def initial_conditions(NUM_RESTARTS, BATCH_SIZE, bounds):
    """生成贝叶斯优化的初始条件，带梯度支持"""
    d = 11
    lower_bound, upper_bound = bounds[0, :], bounds[1, :]
    # 初始化时直接启用梯度
    initial_conditions_tensor = torch.zeros(NUM_RESTARTS, BATCH_SIZE, d, requires_grad=True, device=lower_bound.device)
    
    for i in range(NUM_RESTARTS):
        for j in range(BATCH_SIZE):
            # 随机选择前7列中的3列填充随机值
            selected_columns = torch.randperm(7)[:3]
            for col in selected_columns:
                initial_conditions_tensor[i, j, col] = torch.uniform(lower_bound[col], upper_bound[col])
            # 填充第8-9列（索引8、9）
            for col in range(8, 10):
                initial_conditions_tensor[i, j, col] = torch.uniform(lower_bound[col], upper_bound[col])
            # 设置最后一列（索引10）为0.3或1.0
            initial_conditions_tensor[i, j, 10] = 0.3 if torch.rand(1).item() < 0.5 else 1.0
    
    return initial_conditions_tensor

3. 其他细节修复 #

• 定义SMOKE_TEST变量（如果未定义），避免get_mf函数报错：

  SMOKE_TEST = False  # 根据调试需求设置为True/False
  

• 移除冗余的torch.set_grad_enabled(True)调用：BoTorch的优化循环默认已经启用梯度，无需手动重复设置

验证修复 #

修改后重新运行优化循环，梯度计算链将保持完整，不会再触发requires_grad相关错误。同时约束函数的批量处理逻辑正确，能覆盖所有输入样本。

内容的提问来源于stack exchange，提问作者Lisa Schmitt