如何验证distinct参数仅移除了无需保留的数据行？

针对你处理10万条数据集的场景，已经用distinct实现了保留每个programme最后一条记录的需求，现在需要验证没有误删应该保留的数据，这里提供几个实用的验证思路和代码示例（假设用tidyverse工具链，base R版本也可对应调整）：

1. 先核对每个Programme的记录数逻辑 #

首先确保处理后每个programme确实只保留了1条，且原始数据中该programme至少有1条记录：

library(dplyr)

# 原始数据每个programme的记录数
raw_prog_counts <- df_raw %>% 
  count(programme, name = "original_records")

# 处理后数据每个programme的记录数
processed_prog_counts <- df_processed %>% 
  count(programme, name = "kept_records")

# 合并对比，筛选异常情况
count_check <- raw_prog_counts %>% 
  full_join(processed_prog_counts, by = "programme") %>% 
  filter(kept_records != 1 | is.na(original_records))

if (nrow(count_check) == 0) {
  cat("✅ 所有programme都正确保留了1条记录，且原始数据均有对应条目\n")
} else {
  cat("❌ 发现异常programme，需要检查：\n")
  print(count_check)
}

2. 直接对比处理后数据与原始数据的"最后一条" #

核心验证逻辑：处理后的数据应该完全等于原始数据中每个programme的最后一条记录。我们可以先从原始数据中提取每个组的最后一条，再和处理结果做全量对比：

# 从原始数据中提取每个programme的最后一条
raw_last_entries <- df_raw %>% 
  group_by(programme) %>% 
  slice_tail(n = 1) %>% # 取每组最后一条
  ungroup()

# 按programme排序，避免顺序不一致导致误判
raw_last_sorted <- raw_last_entries %>% arrange(programme)
processed_sorted <- df_processed %>% arrange(programme)

# 全量对比
if (all.equal(raw_last_sorted, processed_sorted)) {
  cat("✅ 处理后的数据完全匹配原始数据每个programme的最后一条记录\n")
} else {
  # 找出差异条目
  diff_records <- anti_join(raw_last_sorted, processed_sorted, by = names(df_raw))
  cat("❌ 发现差异记录，详情如下：\n")
  print(diff_records)
}

3. 抽样验证（针对大数据量提速） #

如果10万条数据全量对比速度慢，可以随机抽取部分programme做验证，结果足够可靠：

set.seed(456) # 设置随机种子保证可复现
sample_progs <- sample(unique(df_raw$programme), size = 15) # 抽15个programme

# 原始数据中这些programme的最后一条
sample_raw_last <- df_raw %>% 
  filter(programme %in% sample_progs) %>% 
  group_by(programme) %>% 
  slice_tail(n = 1) %>% 
  ungroup()

# 处理后数据中这些programme的记录
sample_processed <- df_processed %>% 
  filter(programme %in% sample_progs)

# 抽样对比
if (all.equal(sample_raw_last, sample_processed)) {
  cat("✅ 抽样验证通过，15个随机programme的最后一条记录均正确保留\n")
} else {
  cat("❌ 抽样发现差异，检查以下条目：\n")
  print(anti_join(sample_raw_last, sample_processed, by = names(df_raw)))
}

为什么unique/duplicated不好用？ #

你提到的unique和duplicated默认是基于所有列的唯一性来判断的，但你的需求是按programme分组取最后一条——哪怕同一programme下有重复的全量行，你依然需要保留最后一条，而这两个函数无法直接关联"分组+取最后一条"的逻辑，所以用分组提取后对比的方式更直接准确。

内容的提问来源于stack exchange，提问作者malasi