如何在Jenkins中实现功能测试构建结果与基准版本自动比对及通知

可行性确认 #

该需求可直接在现有Jenkins FT Job流程基础上扩展实现，无需修改原有PR合入规则与测试执行逻辑。

核心实现步骤 #

• 基准结果固化
  将指定为基准的构建（如示例中的Build #1）的测试结果产物设置为永久保留，也可在Jenkins服务器本地指定固定路径单独存储基准结果文件，避免基准数据被Jenkins构建历史清理机制删除。
• 自动比对逻辑接入
  在现有FT Job的「构建后操作」中新增自定义脚本执行步骤，脚本核心逻辑如下：
  1. 拉取预先设置的基准构建测试结果文件
  2. 拉取当前构建生成的实时测试结果文件
  3. 按照业务规则完成两个结果集的字段匹配、差异计算，支持Shell/Python等任意脚本语言实现
  4. 输出结构化差异报告，作为当前构建的产物存档
• 差异通知配置
  新增触发规则：当脚本检测到结果差异时，自动触发通知，支持邮件、内部即时通讯机器人等通知渠道，通知内容可直接关联当前构建的差异报告访问路径。

低代码实现方案 #

无需自定义脚本的场景下，可直接使用Jenkins内置的Test Results Analyzer Plugin、Performance Plugin等测试相关插件，这类插件原生支持指定某一构建为基准版本，自动完成后续所有构建与基准的结果比对，自带差异统计、可视化报告能力，仅需在Jenkins页面完成简单配置即可使用。

注意：如果你的功能测试套件输出为自定义格式的结果文件，优先选择自定义脚本实现比对，适配成本更低。

内容的提问来源于stack exchange，提问作者Krupa