You need to enable JavaScript to run this app. R语言如何删除面板数据中iso_i与iso_j互换的重复行?
优惠活动
大模型
产品
解决方案
定价
更多

R语言如何删除面板数据中iso_i与iso_j互换的重复行?

R处理跨国面板iso互换重复值方案

48万行数据属于中小规模,用R的主流数据处理包可以秒级完成处理,以下是三套可行方案:

最简快速方案(无需生成临时字段)

只要你的iso_i和iso_j为可比较的字符串/数字类型,直接筛选iso_i小于iso_j的行即可,自动排除所有i、j互换的重复记录:

# 加载dplyr(如果没装先运行install.packages("dplyr"))
library(dplyr)

# 读入你的原始数据,替换为你自己的文件路径
df <- read.csv("你的数据文件路径.csv")

# 直接筛选去重
df_clean <- df %>% 
  filter(iso_i < iso_j)

运行后的数据量就是原数据的一半左右,符合你的预期。

通用稳妥方案(适配所有情况)

如果需要先验证互换行的thetaij是否完全一致,或者iso编码无法直接比较大小,用标准化配对键的方案:

library(dplyr)

df_clean <- df %>%
  # 对每行的iso_i和iso_j排序后拼接为唯一配对键
  rowwise() %>%
  mutate(iso_pair = paste(sort(c(iso_i, iso_j)), collapse = "_")) %>%
  ungroup() %>%
  # 校验互换行的thetaij是否一致(可选步骤,建议第一次运行时执行)
  # group_by(year, industry, iso_pair) %>%
  # mutate(thetaij_diff = n_distinct(thetaij) > 1) %>%
  # ungroup() %>%
  # 按年份、行业、配对键去重,保留所有原字段
  distinct(year, industry, iso_pair, .keep_all = TRUE) %>%
  # 删除临时生成的配对键
  select(-iso_pair)

超大数据提速方案

如果后续数据量扩大到百万级以上,用data.table包可以获得3-5倍的速度提升:

library(data.table)
setDT(df)
df_clean <- unique(df[, iso_pair := paste(pmin(iso_i, iso_j), pmax(iso_i, iso_j), sep = "_")], 
                   by = c("year", "industry", "iso_pair"))[, iso_pair := NULL]

内容的提问来源于stack exchange,提问作者오지료

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 23:36:03