关于在R语言caret包中实现两部分模型（Two-part model）的技术问询

我正在使用R语言的caret包开展预测模型的训练与测试工作。现有数据呈左偏分布，取值范围为-0.138至0.9489，且多数观测值集中在0.9489附近。我希望构建一个由逻辑回归（将取值为0.9489的观测值标记为1，其余所有值标记为0）和普通最小二乘法（OLS）组成的两部分模型（Two-part model）。现咨询：caret包中是否存在内置的两部分模型，还是需要在caret框架内自行构建该模型？

我已进行的尝试：

• 查阅了caret包中所有可用模型，未发现专门针对两部分模型的选项。是否可以分别运行逻辑回归与线性回归，再在caret中通过某种方式将二者结合？
• 尝试自行构建该模型，但在填充模型组件时遇到阻碍（相关代码如下）：

##Logistic and OLS models
logistic <- glm(binary_outcome ~ lung_function + age + male + pkyrs + disease_type , data = data, family = 'binomial')
ols <- lm(outcome ~ lung_function + age + male + pkyrs + disease_type , data = data)

##Cross-validation using caret package
set.seed(123)
train.control <- trainControl( method = "cv", number = 10)

##Novice attempt at creating two-part model (get stuck at parameters)
model_list <- list(type="Regression", library=NULL)
parameters <- data.frame(parameter = c(""))

直接给你结论：caret包没有内置的两部分模型，你确实需要在caret框架内自行构建这个组合模型。下面给你两种实用的实现思路，从简单到规范逐步推进：

思路1：分别训练两个模型，手动整合预测结果 #

这种方法上手快，适合快速验证你的两部分模型逻辑，不需要复杂的自定义：

1. 用caret分别训练逻辑回归和OLS模型，注意让两者使用一致的交叉验证划分（保证结果可靠性）
2. 对新数据先做逻辑回归预测（判断是否属于0.9489的组），再根据结果选择用OLS预测或者直接输出0.9489

示例代码：

set.seed(123)
train.control <- trainControl(method = "cv", number = 10)

# 训练逻辑回归模型（预测二元结果）
logistic_caret <- train(
  binary_outcome ~ lung_function + age + male + pkyrs + disease_type,
  data = data,
  method = "glm",
  family = "binomial",
  trControl = train.control
)

# 训练OLS模型：只使用非0.9489的样本，避免数据偏差
ols_data <- subset(data, binary_outcome == 0)
ols_caret <- train(
  outcome ~ lung_function + age + male + pkyrs + disease_type,
  data = ols_data,
  method = "lm",
  trControl = train.control
)

# 自定义两部分预测函数
two_part_predict <- function(new_data) {
  # 第一步：判断样本是否属于0.9489组
  pred_binary <- predict(logistic_caret, newdata = new_data, type = "raw")
  
  # 第二步：根据判断结果输出对应预测值
  pred_final <- ifelse(pred_binary == 1, 0.9489, predict(ols_caret, newdata = new_data))
  return(pred_final)
}

# 测试预测功能
test_pred <- two_part_predict(new_test_data)

思路2：在caret中自定义模型对象（更规范的流程） #

如果你希望把两部分模型作为一个整体纳入caret的训练流程（比如统一的交叉验证、模型评估、参数调优），可以按照caret的自定义模型规则来构建，核心是定义模型的fit和predict函数：

示例代码：

set.seed(123)
train.control <- trainControl(method = "cv", number = 10)

# 定义自定义两部分模型
two_part_model <- list(
  label = "Two-Part Model (Logistic + OLS)",
  library = c("stats"),
  type = "Regression",
  parameters = data.frame(parameter = "none", class = "character", label = "None"),
  grid = function(x, y, len = NULL, search = "grid") {
    data.frame(parameter = "none")
  },
  fit = function(x, y, wts, param, lev, last, weights, classProbs, ...) {
    # 构建二元标签：标记是否为0.9489
    binary_y <- as.factor(ifelse(y == 0.9489, 1, 0))
    
    # 训练逻辑回归模型
    logistic_fit <- glm(binary_y ~ ., data = x, family = "binomial", ...)
    
    # 训练OLS模型：仅使用非0.9489的样本
    ols_x <- x[binary_y == 0, , drop = FALSE]
    ols_y <- y[binary_y == 0]
    ols_fit <- lm(ols_y ~ ., data = ols_x, ...)
    
    # 返回两个模型的组合列表
    list(logistic = logistic_fit, ols = ols_fit)
  },
  predict = function(modelFit, newdata, submodels = NULL) {
    # 逻辑回归预测概率并转成类别
    pred_binary_prob <- predict(modelFit$logistic, newdata = newdata, type = "response")
    pred_binary_class <- ifelse(pred_binary_prob > 0.5, 1, 0)
    
    # OLS预测连续值
    pred_ols <- predict(modelFit$ols, newdata = newdata)
    
    # 整合最终预测结果
    ifelse(pred_binary_class == 1, 0.9489, pred_ols)
  },
  prob = NULL, # 我们不需要概率输出，设为NULL即可
  sort = function(x) x
)

# 用caret训练自定义的两部分模型
two_part_caret <- train(
  outcome ~ lung_function + age + male + pkyrs + disease_type,
  data = data,
  method = two_part_model,
  trControl = train.control
)

# 直接用caret的predict函数做预测
test_pred <- predict(two_part_caret, newdata = new_test_data)

额外注意事项： #

• 交叉验证时，自定义模型会在每个折上同时训练逻辑回归和OLS，保证了数据划分的一致性，避免了数据泄露
• 你可以根据业务需求调整逻辑回归的分类阈值（默认0.5），比如在predict函数里修改判断条件
• 模型评估时，caret会自动用回归类的评估指标（比如RMSE、MAE）来衡量整体预测效果

内容的提问来源于stack exchange，提问作者r_user