使用rBayesianOptimization与caret调参多超参模型时出现异常

错误根源 #

你遇到的错误是由于rBayesianOptimization在拟合高斯过程时，输入的超参数样本或对应的模型评估得分（Score）出现了缺失值（NA），导致第168行的条件判断无法得到有效的TRUE/FALSE结果。这类问题在复杂模型（如mlpWeightDecayML、xgbTree）中更常见，因为部分超参数组合可能导致模型训练失败，返回无效的评估结果。

另外，代码中存在一个潜在问题：layer1/layer2/layer3是整数型超参数，但rBayesianOptimization默认会采样浮点数值，直接传入caret::train可能导致模型训练异常，间接引发NA值。

针对性修复方案 #

1. 强制转换整数型超参数

在评估函数中，将浮点型的layer参数转换为整数，确保符合mlpWeightDecayML的参数要求：

eval_function_mlpWeightDecayML <- function(layer1, layer2, layer3, decay) {
    message("Running the eval 'mlpWeightDecayML' function...")
    
    # 转换为整数，匹配模型参数要求
    layer1 <- as.integer(layer1)
    layer2 <- as.integer(layer2)
    layer3 <- as.integer(layer3)
    
    dataFrame = caretTrainObject$trainingData
    index = caret::createDataPartition(dataFrame[, ncol(dataFrame)], p = 0.8, list = FALSE)

    trainData = dataFrame[index, ]
    testData = dataFrame[-index, ]

    model <- suppressWarnings(caret::train(
        x = trainData[, -ncol(dataFrame)],
        y = trainData[, ncol(dataFrame)],
        metric = caretTrainObject$metric,
        method = "mlpWeightDecayML",
        trControl = caret::trainControl(method = "none"),
        verbose = FALSE, 
        tuneGrid = expand.grid(
            layer1 = layer1,
            layer2 = layer2,
            layer3 = layer3,
            decay = decay
        )
    ))
    message("Finished this evaluation! Getting the results ready..")
    
    # 捕获评估得分的NA值，返回惩罚性分数
    score <- tryCatch(
        calculate_specific_metric(model, testData, caretTrainObject$metric),
        error = function(e) {
            message("Evaluation failed: ", e$message)
            # 根据任务类型返回惩罚值，分类任务返回极低准确率
            if(caretTrainObject$metric == "Accuracy") return(0.1)
            # 回归任务返回极高负误差
            else return(-100)
        }
    )
    
    # 额外检查NA，避免传入无效值
    if(is.na(score)) {
        message("Score is NA, using fallback value")
        score <- if(caretTrainObject$metric == "Accuracy") 0.1 else -100
    }
    
    return(list(Score = score, Pred = 0))
}

2. 优化评估函数的稳定性

修改calculate_specific_metric函数，增加预测失败的捕获逻辑，避免返回NA：

calculate_specific_metric <- function(model, testData, metricName){
    # 捕获预测失败的情况
    predictions <- tryCatch(
        stats::predict(model, newdata = testData),
        error = function(e) {
            message("Prediction failed: ", e$message)
            return(NULL)
        }
    )
    
    if(is.null(predictions)) {
        # 返回惩罚性分数
        if(is_classification_model(model)) {
            return(0.1) # 低准确率
        } else {
            return(-100) # 高负误差
        }
    }
    
    actual = testData[, ncol(testData)]

    if(is_classification_model(model)){
        matrix = caret::confusionMatrix(predictions, actual)
        metrics = matrix$overall
    } else {
        # 取负值以便最小化误差类指标
        metrics = -caret::postResample(pred = predictions, obs = actual)
    }

    if(metricName %in% names(metrics)){
        return(metrics[metricName])
    } else {
        stop("Metric not found or not applicable for this model.")
    }
}

3. 过滤无效超参数组合

比如mlpWeightDecayML中，当所有layer都为0时模型无法训练，可以在评估函数开头过滤这类组合：

eval_function_mlpWeightDecayML <- function(layer1, layer2, layer3, decay) {
    # 过滤全0层的无效组合
    if(layer1 == 0 && layer2 == 0 && layer3 == 0) {
        message("Invalid layer combination, returning penalty score")
        return(list(Score = 0.1, Pred = 0))
    }
    
    # 后续代码...
}

额外建议 #

• 减少init_points的数量：初始采样点过多可能引入更多无效组合，建议先从5个初始点开始测试。
• 检查is_classification_model函数的实现：确保它能正确识别模型类型，避免后续逻辑出错。

内容的提问来源于stack exchange，提问作者Savo