如何在PAF中执行包含多个flow的testsuite测试套件

具体执行方法 #

• 命令行执行（适配CI/CD、批量执行场景）
  1. 首先进入PAF项目的根目录
  2. 执行全量TestSuite命令：paf run testsuite --name <测试套件名称> --env <目标测试环境标识>
  3. 可选扩展参数：只需运行套件内指定Flow时，添加--include-flow <flow1名称,flow2名称>；需要导出测试报告时，添加--report <html/json>指定报告格式
• IDE本地执行（适配开发调试场景）
  安装对应IDE的PAF插件后，找到项目内的TestSuite配置文件，右键选择「Run TestSuite」即可直接运行，运行参数可以在IDE的运行配置面板中自定义修改

相关配置要求 #

• 依赖环境要求
  本地安装的PAF CLI版本必须和项目依赖的PAF核心版本一致，可通过paf --version查看当前CLI版本，避免出现兼容性报错
• TestSuite配置文件要求
  配置文件必须放在项目src/test/suites目录下，支持yml/json格式，文件内需明确声明包含的Flow相对路径、全局公共参数、环境变量映射规则、执行超时时间等核心配置
• 测试环境配置要求
  目标运行环境的配置文件必须提前存放在src/main/resources/env/目录下，包含接口域名、测试账号密钥、数据库连接信息等配置项，禁止将敏感信息硬编码到Flow或TestSuite配置中
• 依赖组件要求
  运行前执行paf install命令安装所有Flow依赖的自定义算子、第三方工具包，避免运行时出现组件找不到的报错

操作注意事项 #

• 运行前建议先单独验证TestSuite包含的所有Flow可正常运行，避免单个Flow故障导致整个测试套件中断，若需要允许部分失败，可在TestSuite配置中添加continue_on_error: true参数
• 注意参数优先级：TestSuite配置的全局参数会覆盖单个Flow内的同名参数，配置前需确认全局参数值符合预期，避免Flow运行逻辑不符合预期
• 若开启多Flow并行执行，需提前做好测试数据隔离，避免不同Flow操作同一条测试数据、抢占同一资源导致结果异常
• 测试结束后建议及时清理运行生成的临时数据、缓存文件，避免占用磁盘空间或影响后续测试结果，也可以在TestSuite中配置后置清理钩子自动执行清理逻辑
• 若需要临时跳过套件内的某个Flow，无需修改配置文件，直接在执行命令中添加--exclude-flow <待跳过Flow名称>即可

内容的提问来源于stack exchange，提问作者Meghana