如何在R中利用另一数据集逐单元格清洗目标数据集

我有一份按连续日期记录多地点计数的数据集，结构如下：

另有一份标记计数有效性的数据集（y表示有效，n表示无效），结构如下：

需要用第二份数据集清洗第一份，规则如下：

• 若某日期某地点在有效性数据中标记为n，则清洗后该位置替换为N/A
• 若某地点未出现在有效性数据中（如LocationB），则所有日期该位置均替换为N/A
• 有效标记为y的位置保留原数值

预期清洗后的输出：

已在Excel中实现逻辑，但数据量过大无法处理，求R语言实现方法。

以下是基于tidyverse工具包的高效实现，适合处理大体积数据：

步骤1：导入数据 #

假设你的数据存储为CSV文件，用read_csv导入；如果是Excel文件，使用read_excel（需先安装readxl包）：

# 安装所需包（首次运行时执行）
install.packages(c("tidyverse", "readxl"))

# 加载包
library(tidyverse)

# 导入数据
count_data <- read_csv("计数数据集.csv")  # 替换为你的文件路径
validity_data <- read_csv("有效性数据集.csv")  # 替换为你的文件路径

步骤2：数据格式转换（长格式处理） #

为了更高效地匹配和清洗，将两个数据集转换为长格式：

# 计数数据转长格式
count_long <- count_data %>%
  pivot_longer(cols = -Date, names_to = "Location", values_to = "Count")

# 有效性数据转长格式
validity_long <- validity_data %>%
  pivot_longer(cols = -Date, names_to = "Location", values_to = "Valid")

步骤3：匹配并应用清洗规则 #

将两个长格式数据按Date和Location匹配，然后根据有效性标记替换无效值，同时处理未出现在有效性数据中的地点：

cleaned_data <- count_long %>%
  left_join(validity_long, by = c("Date", "Location")) %>%
  # 应用规则：有效标记为y则保留原值，否则设为N/A；无有效标记的地点直接设为N/A
  mutate(Cleaned_Count = case_when(
    Valid == "y" ~ as.character(Count),
    TRUE ~ "N/A"
  )) %>%
  # 转回宽格式，恢复原结构
  pivot_wider(names_from = Location, values_from = Cleaned_Count) %>%
  # 确保列顺序和原计数数据一致
  select(names(count_data))

步骤4：导出清洗后的数据 #

将结果导出为CSV或Excel文件：

# 导出为CSV
write_csv(cleaned_data, "清洗后计数数据集.csv")

# 导出为Excel（需安装writexl包）
# install.packages("writexl")
# write_xlsx(cleaned_data, "清洗后计数数据集.xlsx")

代码解释 #

• pivot_longer/pivot_wider：将数据在宽/长格式间转换，便于批量处理多列地点
• left_join：确保保留原计数数据的所有行和地点，匹配对应的有效性标记
• case_when：清晰定义清洗规则，覆盖所有情况（有效、无效、无标记）
• tidyverse工具包的函数均为向量化操作，处理大数据量时效率远高于Excel

内容的提问来源于stack exchange，提问作者cjp