如何在tidymodels的step_umap中使用自定义Dice距离？

你遇到的问题核心是提前生成全局距离矩阵并传入step_umap不符合交叉验证的逻辑：tune_grid会执行交叉验证，每个fold的训练集是原始数据的子集，而你提前生成的X_dm包含了所有数据（包括测试集），直接传入options = list(X = X_dm)会导致umap在每个fold中误用全局距离矩阵，与当前训练集不匹配，最终所有模型训练失败。

正确实现步骤 #

不要提前生成距离矩阵，而是让umap在每个fold中自动用自定义Dice距离计算样本间距离，具体操作如下：

1. 注册自定义Dice距离到proxy包
   首先确保你的Dice函数符合proxy包的要求，并注册到距离函数库中：

   library(proxy)
   
   # 自定义Dice距离函数（适用于二进制/分类特征）
   dice_dist <- function(x, y) {
     intersection <- sum(x == y & x != 0)  # 根据你的数据类型调整逻辑
     total <- sum(x) + sum(y)
     1 - (2 * intersection) / total
   }
   
   # 将函数注册到proxy包
   pr_DB$set_entry(
     FUN = dice_dist,
     names = c("Dice"),
     loop = TRUE,
     type = "metric",
     distance = TRUE
   )
   

2. 在step_umap中调用自定义距离
   在recipe中直接通过metric参数指定注册好的"Dice"，无需手动传入距离矩阵：

   library(tidymodels)
   library(embed)
   
   # 构建预处理recipe
   my_recipe <- recipe(target ~ ., data = your_data) %>%
     # 其他预处理步骤（如编码、标准化等）
     step_dummy(all_nominal_predictors()) %>%
     # 使用自定义Dice距离的UMAP降维
     step_umap(
       all_predictors(),
       metric = "Dice",  # 调用注册的Dice距离
       options = list(
         n_neighbors = tune(),
         min_dist = tune()
       )
     )
   
   # 定义Xgboost模型
   xgb_spec <- boost_tree(
     trees = tune(),
     tree_depth = tune()
   ) %>%
     set_engine("xgboost") %>%
     set_mode("classification")  # 回归任务改为"regression"
   
   # 组合工作流
   xgb_wf <- workflow() %>%
     add_recipe(my_recipe) %>%
     add_model(xgb_spec)
   
   # 交叉验证调参
   set.seed(123)
   umap_tune_grid <- tune_grid(
     xgb_wf,
     resamples = vfold_cv(your_data, v = 5),
     grid = grid_regular(parameters(xgb_wf), levels = 3)
   )
   
   # 选择最优参数
   umap_tune_grid %>% select_best()
   

关键说明 #

• 交叉验证中每个fold的训练集都是独立子集，让umap在每个fold内实时计算距离矩阵，才能保证数据隔离性，符合建模逻辑。
• 确保Dice函数的逻辑匹配你的数据类型（如二进制特征、多分类特征），上述示例仅为通用模板，需根据实际数据调整。

内容的提问来源于stack exchange，提问作者Benco016