You need to enable JavaScript to run this app. R语言实现邮件数据重复检测:含重复邮箱、@前缀校验,忽略NA空值
优惠活动
大模型
产品
解决方案
定价
更多

R语言实现邮件数据重复检测:含重复邮箱、@前缀校验,忽略NA空值

重复值校验R代码修正实现方案

核心校验规则对齐

  • 全流程跳过NA值、带空格的空白单元格,这类记录不纳入重复判断池
  • 两项校验目标:
    • 识别同一姓名下绑定了多个不同有效邮箱ID的记录
    • 识别所有有效邮箱中,@符号前的账号字段存在跨记录重复的情况

常见代码失效原因

大多数代码运行不符合预期的核心问题集中在三点:

  • 仅判断了纯空字符串的空白单元格,没有识别字符串两端带空格的“隐性空白”,导致这类异常值被当成有效数据参与计算
  • 提取@前缀时没有做前置缺失值判断,直接对NA值做字符串拆分,生成无意义的临时值干扰判断逻辑
  • 重复值标记时没有剔除缺失值,导致大量NA值被误判为“相互重复”

完整可运行代码

# 1. 构造覆盖NA、空白、重复场景的测试数据集(可直接替换为实际业务数据)
test_df <- data.frame(
  姓名 = c("张三", "张三", "李四", "王五", NA, "赵六", "张三", "孙七"),
  邮箱 = c(
    "zhangsan@company.com",
    "zhangsan123@company.com",
    "lisi@company.com",
    "wangwu@company.com",
    NA,
    "   ",
    "lisi@company.com",
    "sunqi@company.com"
  ),
  stringsAsFactors = FALSE
)

# 2. 统一清洗数据:将带空格的空白单元格、原生NA统一识别为缺失值
library(dplyr)
clean_df <- test_df |>
  mutate(across(
    .cols = where(is.character),
    .fns = ~ trimws(.x)
  )) |>
  mutate(across(
    .cols = where(is.character),
    .fns = ~ ifelse(.x == "", NA, .x)
  ))

# 3. 提取邮箱@前缀的账号字段,缺失值不参与提取
clean_df <- clean_df |>
  mutate(
    邮箱账号前缀 = if_else(
      condition = !is.na(邮箱),
      true = strsplit(邮箱, "@") |> vapply(\(x) x[1], character(1)),
      false = NA_character_
    )
  )

# 4. 执行两项校验,生成重复标记列
result_df <- clean_df |>
  group_by(姓名) |>
  mutate(
    同姓名多不同邮箱 = if_else(
      condition = !is.na(姓名) & !is.na(邮箱),
      true = n_distinct(邮箱, na.rm = TRUE) > 1,
      false = NA
    )
  ) |>
  ungroup() |>
  group_by(邮箱账号前缀) |>
  mutate(
    邮箱前缀重复 = if_else(
      condition = !is.na(邮箱账号前缀),
      true = n() > 1,
      false = NA
    )
  ) |>
  ungroup()

结果说明

  • 所有缺失值对应的记录,两个校验标记列都会返回NA,完全不参与重复值计算,符合忽略NA和空白的要求
  • 测试集运行后,张三名下的两条有效邮箱记录会被标记同姓名多不同邮箱 = TRUE,对应“同姓名绑定多个不同邮箱”的校验场景
  • 测试集中的lisi前缀因为同时出现在李四、张三两条有效邮箱记录里,会被标记邮箱前缀重复 = TRUE,对应@前缀重复的校验场景

内容的提问来源于stack exchange,提问作者newcomer

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 15:36:04