如何用PMD CPD高效检测代码库中PR变更文件的重复代码

可行，你可以通过拆分检测步骤结合CPD的CLI参数实现目标，避免全库扫描的冗余开销，具体方案如下：

核心思路 #

将检测拆分为两个精准场景，完全覆盖你关注的重复范围：

1. 变更文件内部的代码重复
2. 变更文件与非变更文件之间的代码重复

总检测量与你预期的(k-1)(2n-k)/2基本一致，能大幅降低扫描负载。

具体实现步骤 #

1. 检测变更文件内部的重复 #

直接将PR中所有变更的C++文件作为CPD输入，仅扫描这些文件间的重复：

# 假设变更文件列表已存入changed_files.txt（每行一个文件路径）
cpd --language cpp --minimum-tokens 100 --threads 4 --files $(cat changed_files.txt)

• --minimum-tokens：根据项目需求调整重复代码的最小token数阈值，值越大扫描速度越快
• --threads：开启多线程扫描，利用多核资源提升效率

2. 检测变更文件与非变更文件之间的重复 #

遍历每个变更文件，单独与所有非变更文件进行CPD扫描，彻底避免非变更文件之间的无效对比：

# 获取所有C++文件列表
all_cpp_files=$(find . -type f -name "*.cpp")
# 获取变更文件列表
changed_files=$(cat changed_files.txt)
# 筛选出非变更文件
non_changed_files=$(comm -23 <(echo "$all_cpp_files" | sort) <(echo "$changed_files" | sort))

# 逐个变更文件与非变更文件扫描
for file in $changed_files; do
  cpd --language cpp --minimum-tokens 100 --threads 4 --files "$file" $non_changed_files
done

这种方式的总检测量为k*(n-k)，加上第一部分的k*(k-1)/2，计算量远低于全库扫描。

额外优化建议 #

• 缓存非变更文件分析结果：如果非变更文件未更新，可预先对其生成CPD的token哈希缓存（需自行编写脚本解析CPD输出实现），后续PR扫描直接复用缓存，进一步减少重复计算。
• 自动获取变更文件：在Git环境中，用git diff --name-only HEAD origin/main直接提取PR变更文件列表，无需手动维护。
• 参数调优：使用--skip-lexical-errors跳过语法错误文件，--format xml输出结构化结果以便集成到CI/CD工具或后续过滤。

内容的提问来源于stack exchange，提问作者borisjo