如何用R编写函数高效检测数据集中城市跨县分类异常

嘿，这个需求我之前处理过类似的，针对2万条这种规模的数据集，用R里的dplyr或者data.table都能高效搞定，代码还特别简洁。下面给你两种常用的实现方案，选你顺手的来就行：

如果你平时习惯用tidyverse系列工具，这个方案的可读性很高：

首先加载依赖包，然后按城市分组统计唯一县的数量，最后筛选出存在多个县的异常城市：

library(dplyr)

# 假设你的数据集名为df，城市列是`city`，县列是`county`
city_county_anomalies <- df %>%
  # 按城市分组
  group_by(city) %>%
  # 统计每个城市对应的唯一县数量，同时把所有县列成字符串方便查看
  summarise(
    unique_county_count = n_distinct(county),
    associated_counties = paste(unique(county), collapse = ", ")
  ) %>%
  # 筛选出对应多个县的城市（异常数据）
  filter(unique_county_count > 1)

n_distinct()是dplyr里高效统计唯一值的函数，2万条数据的处理速度完全没问题，结果里会清晰展示每个异常城市对应的所有县。

如果之后你的数据集可能扩容到十万甚至百万级，data.table的处理速度会比dplyr更有优势，代码同样简洁：

library(data.table)

# 如果你的数据集是普通data.frame，先转成data.table
setDT(df)

city_county_anomalies <- df[, .(
  unique_county_count = uniqueN(county),
  associated_counties = paste(unique(county), collapse = ", ")
), by = city][unique_county_count > 1]

uniqueN()是data.table专属的高效唯一值计数函数，整个操作是内存内处理，速度非常快，最后直接通过行筛选拿到异常结果。

额外小技巧 #

• 避免因格式问题误判异常：比如城市名的大小写、前后空格（比如"旧金山"和" 旧金山"），可以先统一清洗：

  # 统一转小写+去除前后空格
  df$city <- trimws(tolower(df$city))
  df$county <- trimws(tolower(df$county))
  

• 如果你需要找到原始数据中所有异常的观测行，可以用半连接：
  • dplyr版本：anomalous_raw_rows <- df %>% semi_join(city_county_anomalies, by = "city")
  • data.table版本：anomalous_raw_rows <- df[city_county_anomalies, on = "city"]

内容的提问来源于stack exchange，提问作者yqz09