R语言中如何借助dplyr删除重复度超75%的近似重复列

这个场景完全可以在tidyverse（核心基于dplyr）的操作流内实现，无需依赖额外的专用去重工具包，判定逻辑可完全对齐你提出的规则：逐对计算两列的逐行值一致占比，只要某列与已保留列的一致匹配度高于75%，就判定为近似重复列予以移除；匹配度未达阈值的列正常保留。

对应你给出的示例数据集，阈值校验结果完全匹配预期：

• 数据集共5行，75%的匹配阈值意味着某列只要和已保留列有≥4个值一致（超过3.75个的判定线），就符合移除条件
• 列b与列a为全量一致（100%匹配），会被移除
• 列c与列a有4个值一致（80%匹配），超过75%阈值，会被移除
• 列d与已保留列的最高匹配度仅为60%（仅前3个值与a列一致），未达阈值，会被保留

可直接运行的实现流程 #

第一步载入tidyverse框架并构建示例数据集：

library(tidyverse)
# 构建题目给出的示例tibble
df <- tibble(
  a = c(1,2,3,4,5),
  b = c(1,2,3,4,5),
  c = c(1,2,3,4,4),
  d = c(1,2,3,6,6)
)

第二步定义匹配阈值并初始化筛选变量：

# 设定判定阈值：当前列与已保留列的最高匹配度高于75%时，判定为近似重复予以移除
match_threshold <- 0.75
# 按照数据集的原始列顺序做遍历比对，保证首个出现的列会被优先保留
col_sequence <- names(df)
keep_col_names <- c()

第三步逐列比对，筛选需要保留的列名：

for (current_col in col_sequence) {
  # 首个列无已保留列可比对，直接纳入保留列表
  if (length(keep_col_names) == 0) {
    keep_col_names <- c(keep_col_names, current_col)
    next
  }
  # 计算当前列与所有已保留列的逐行匹配最高占比
  max_existing_match <- max(sapply(keep_col_names, function(saved_col) {
    mean(df[[current_col]] == df[[saved_col]])
  }))
  # 匹配占比低于阈值时，将当前列加入保留列表
  if (max_existing_match <= match_threshold) {
    keep_col_names <- c(keep_col_names, current_col)
  }
}

第四步通过dplyr的select函数完成最终的列筛选：

# 输出最终的无近似重复列的数据集
clean_df <- df %>% select(all_of(keep_col_names))

实操调整说明 #

• 不要使用全局列匹配矩阵做“只要和任意列匹配度超阈值就删除”的双向筛选逻辑，这种逻辑会把高匹配列组里的所有列都删掉，反而丢失了本该保留的基础列；按原始列顺序逐次比对的逻辑，能保证高匹配组里只保留最先出现的一列，符合实际数据分析的列保留习惯
• 针对数值型列可能存在的浮点精度匹配误差，可以把匹配判断部分的df[[current_col]] == df[[saved_col]]替换为dplyr自带的near(df[[current_col]], df[[saved_col]])，避免因为精度问题导致的匹配误判
• 整个逻辑完全透明可调整：如果需要修改判定规则（比如需要保留列名更短的列而非最先出现的列），只需要调整col_sequence的排序规则即可，不需要改动核心的匹配计算流程
• 运行上述代码后，最终得到的clean_df仅保留a列和d列，完全匹配你提出的列保留/移除预期

内容的提问来源于stack exchange，提问作者StatsAreHard