如何基于高相关变量vector筛选DataFrame列实现数据去重

你可以封装一个通用处理函数，在循环生成高相关变量向量后直接调用即可，无需提前预知向量长度和变量名，具体实现如下：

核心逻辑 #

• 每次拿到高相关变量组后，先判断组内变量数量，不足2个无需处理
• 提取组内所有变量的列，排除第17行后计算各列总和
• 仅保留总和最高的变量，删除同组其余变量
• 迭代更新原始DataFrame即可

示例代码 #

# 封装冗余列过滤函数
# 参数说明：
# df: 待处理的原始DataFrame
# high_cor_vars: 当前循环生成的高相关变量名向量
filter_high_cor_cols <- function(df, high_cor_vars) {
  # 组内变量数小于2时无冗余，直接返回原数据
  if (length(high_cor_vars) <= 1) {
    return(df)
  }
  # 排除第17行后计算组内各列总和，na.rm用于处理缺失值
  col_total <- colSums(df[-17, high_cor_vars], na.rm = TRUE)
  # 取总和最高的变量名
  keep_col <- names(which.max(col_total))
  # 生成待删除的冗余变量列表
  drop_cols <- setdiff(high_cor_vars, keep_col)
  # 从原数据中删除冗余列
  df <- df[, !colnames(df) %in% drop_cols]
  return(df)
}

调用方法 #

在你生成高相关变量的循环中直接调用函数即可：

# 你的原始循环逻辑
for (i in 1:循环次数) {
  # 你原本生成高相关变量向量的代码
  # current_cor_vec <- 相关矩阵筛选后输出的变量向量
  # 调用函数过滤冗余
  df <- filter_high_cor_cols(df, current_cor_vec)
}

注意事项 #

• 若出现多个变量总和相同的情况，which.max会默认保留第一个出现的变量，你可根据需求调整保留规则
• 若你的数据无缺失值，可删除colSums中的na.rm = TRUE参数
• 代码中排除的是第17行，若你实际需要排除的行号有变化，直接修改df[-17, ]中的行号即可

内容的提问来源于stack exchange，提问作者Reda