如何基于不同特征数据集将多个机器学习模型合并为元机器学习模型？

首先先补全你提供的可复现代码（看起来df2的y生成逻辑没写完，我帮你补全并加上随机种子保证结果可复现）：

library(caret)
set.seed(123) # 固定随机种子，确保每次运行结果一致
df1 <- data.frame(x1 = rnorm(200), x2 = rnorm(200), y = as.factor(sample(c("bob", "bill"), 200, replace = T)))
df2 <- data.frame(z1 = rnorm(400), z2 = rnorm(400), y = as.factor(sample(c("bob", "bill"), 400, replace = T)))

接下来我们一步步搭建元模型，核心思路是：先分别在两个特征集的数据集上训练基模型，再用这些基模型的预测结果作为元特征，结合目标变量训练元模型。针对你提到的两个数据集样本量不同的问题，我会在步骤里给出对应的解决方案。

步骤1：为每个数据集训练基模型并生成无泄露的预测特征 #

为了避免过拟合，我们用交叉验证（CV）生成每个样本的「out-of-fold（OOF）预测」——也就是用该样本未参与训练的折叠模型来做预测，这样得到的预测值能真实反映模型的泛化能力，适合作为元模型的输入。

处理df1：训练基模型并提取OOF预测 #

# 设置交叉验证参数：5折交叉验证，保存最终的OOF预测结果
train_control <- trainControl(method = "cv", number = 5, savePredictions = "final")

# 在df1上训练一个基模型（这里用随机森林，你也可以换成SVM、GBM等）
model_df1 <- train(y ~ ., data = df1, method = "rf", trControl = train_control)
# 提取OOF预测值作为元特征，同时保留目标变量y
df1_meta <- data.frame(pred_df1 = model_df1$pred$pred, y = df1$y)

处理df2：训练基模型并提取OOF预测 #

# 在df2上训练另一个不同的基模型（比如梯度提升树，增加基模型的多样性）
model_df2 <- train(y ~ ., data = df2, method = "gbm", trControl = train_control, verbose = FALSE)
# 提取OOF预测值和目标变量
df2_meta <- data.frame(pred_df2 = model_df2$pred$pred, y = df2$y)

步骤2：对齐元数据集（解决样本量差异问题） #

因为df1有200个样本，df2有400个，这里分两种情况处理：

情况A：df1和df2是同一批样本的不同特征 #

如果两个数据集的行对应同一个观测（比如同一个用户的两类不同特征），直接合并原始特征即可，这是最简单的方式：

# 合并两个数据集的特征，保留共同的目标变量y
combined_raw_df <- cbind(df1, df2[, c("z1", "z2")])
# 直接用合并后的特征训练模型
model_combined_raw <- train(y ~ ., data = combined_raw_df, method = "rf", trControl = train_control)

情况B：df1和df2是不同观测的数据集 #

如果两个数据集是完全独立的样本，我们用分层抽样从df2中抽取200个样本，保证类别分布和df1一致，避免引入偏差：

set.seed(123)
# 分层抽样，按y的比例抽取200个样本
df2_meta_subset <- df2_meta[createDataPartition(df2_meta$y, p = 200/400, list = FALSE), ]
# 合并两个元数据集，得到元模型的训练数据
meta_data <- cbind(df1_meta, pred_df2 = df2_meta_subset$pred_df2)

步骤3：训练元模型 #

现在我们有了两个元特征pred_df1和pred_df2，以及目标变量y，就可以训练元模型了：

# 用逻辑回归作为元模型（也可以用更复杂的模型比如随机森林）
meta_model <- train(y ~ pred_df1 + pred_df2, data = meta_data, method = "glm", trControl = train_control)
# 查看元模型的性能
print(meta_model)

进阶技巧：提升元模型性能 #

• 增加基模型多样性：在每个数据集上训练多种不同类型的基模型（比如SVM、朴素贝叶斯、神经网络），把所有基模型的OOF预测都作为元特征，元模型能学到更多互补信号。
• 加入原始特征：如果样本对齐的情况下，可以把原始特征和基模型预测值一起作为元特征，让元模型同时利用原始信号和基模型的整合信号。
• 调整元模型复杂度：如果元特征较多，选择正则化模型（比如带L1/L2正则的逻辑回归）；如果特征少但非线性关系明显，可以用随机森林、GBM等模型。

内容的提问来源于stack exchange，提问作者Azam Yahya