R语言实现邮件数据重复检测:含重复邮箱、@前缀校验,忽略NA空值
重复值校验R代码修正实现方案
核心校验规则对齐
- 全流程跳过NA值、带空格的空白单元格,这类记录不纳入重复判断池
- 两项校验目标:
- 识别同一姓名下绑定了多个不同有效邮箱ID的记录
- 识别所有有效邮箱中,@符号前的账号字段存在跨记录重复的情况
常见代码失效原因
大多数代码运行不符合预期的核心问题集中在三点:
- 仅判断了纯空字符串的空白单元格,没有识别字符串两端带空格的“隐性空白”,导致这类异常值被当成有效数据参与计算
- 提取@前缀时没有做前置缺失值判断,直接对NA值做字符串拆分,生成无意义的临时值干扰判断逻辑
- 重复值标记时没有剔除缺失值,导致大量NA值被误判为“相互重复”
完整可运行代码
# 1. 构造覆盖NA、空白、重复场景的测试数据集(可直接替换为实际业务数据) test_df <- data.frame( 姓名 = c("张三", "张三", "李四", "王五", NA, "赵六", "张三", "孙七"), 邮箱 = c( "zhangsan@company.com", "zhangsan123@company.com", "lisi@company.com", "wangwu@company.com", NA, " ", "lisi@company.com", "sunqi@company.com" ), stringsAsFactors = FALSE ) # 2. 统一清洗数据:将带空格的空白单元格、原生NA统一识别为缺失值 library(dplyr) clean_df <- test_df |> mutate(across( .cols = where(is.character), .fns = ~ trimws(.x) )) |> mutate(across( .cols = where(is.character), .fns = ~ ifelse(.x == "", NA, .x) )) # 3. 提取邮箱@前缀的账号字段,缺失值不参与提取 clean_df <- clean_df |> mutate( 邮箱账号前缀 = if_else( condition = !is.na(邮箱), true = strsplit(邮箱, "@") |> vapply(\(x) x[1], character(1)), false = NA_character_ ) ) # 4. 执行两项校验,生成重复标记列 result_df <- clean_df |> group_by(姓名) |> mutate( 同姓名多不同邮箱 = if_else( condition = !is.na(姓名) & !is.na(邮箱), true = n_distinct(邮箱, na.rm = TRUE) > 1, false = NA ) ) |> ungroup() |> group_by(邮箱账号前缀) |> mutate( 邮箱前缀重复 = if_else( condition = !is.na(邮箱账号前缀), true = n() > 1, false = NA ) ) |> ungroup()
结果说明
- 所有缺失值对应的记录,两个校验标记列都会返回NA,完全不参与重复值计算,符合忽略NA和空白的要求
- 测试集运行后,张三名下的两条有效邮箱记录会被标记
同姓名多不同邮箱 = TRUE,对应“同姓名绑定多个不同邮箱”的校验场景 - 测试集中的
lisi前缀因为同时出现在李四、张三两条有效邮箱记录里,会被标记邮箱前缀重复 = TRUE,对应@前缀重复的校验场景
内容的提问来源于stack exchange,提问作者newcomer
相关产品推荐
相关产品推荐

