R语言如何删除面板数据中iso_i与iso_j互换的重复行?
R处理跨国面板iso互换重复值方案
48万行数据属于中小规模,用R的主流数据处理包可以秒级完成处理,以下是三套可行方案:
最简快速方案(无需生成临时字段)
只要你的iso_i和iso_j为可比较的字符串/数字类型,直接筛选iso_i小于iso_j的行即可,自动排除所有i、j互换的重复记录:
# 加载dplyr(如果没装先运行install.packages("dplyr")) library(dplyr) # 读入你的原始数据,替换为你自己的文件路径 df <- read.csv("你的数据文件路径.csv") # 直接筛选去重 df_clean <- df %>% filter(iso_i < iso_j)
运行后的数据量就是原数据的一半左右,符合你的预期。
通用稳妥方案(适配所有情况)
如果需要先验证互换行的thetaij是否完全一致,或者iso编码无法直接比较大小,用标准化配对键的方案:
library(dplyr) df_clean <- df %>% # 对每行的iso_i和iso_j排序后拼接为唯一配对键 rowwise() %>% mutate(iso_pair = paste(sort(c(iso_i, iso_j)), collapse = "_")) %>% ungroup() %>% # 校验互换行的thetaij是否一致(可选步骤,建议第一次运行时执行) # group_by(year, industry, iso_pair) %>% # mutate(thetaij_diff = n_distinct(thetaij) > 1) %>% # ungroup() %>% # 按年份、行业、配对键去重,保留所有原字段 distinct(year, industry, iso_pair, .keep_all = TRUE) %>% # 删除临时生成的配对键 select(-iso_pair)
超大数据提速方案
如果后续数据量扩大到百万级以上,用data.table包可以获得3-5倍的速度提升:
library(data.table) setDT(df) df_clean <- unique(df[, iso_pair := paste(pmin(iso_i, iso_j), pmax(iso_i, iso_j), sep = "_")], by = c("year", "industry", "iso_pair"))[, iso_pair := NULL]
内容的提问来源于stack exchange,提问作者오지료
相关产品推荐
相关产品推荐

