如何基于参数多次执行所有Karate feature测试文件

以下是三种可直接落地的实现方案，均可以实现「全量用例跑完第一个参数再切换下一个参数」的执行逻辑，避免Scenario Outline单场景循环参数的问题：

方案1：外部脚本循环触发测试运行器 #

这是侵入性最低的方案，不需要修改任何现有feature文件或测试代码：

• 先定义需要传入的参数集合，比如两次运行就对应两个参数值
• 遍历参数集合，每次遍历将当前参数写入环境变量，比如Linux下执行export TEST_RUN_PARAM=参数值，Windows下执行set TEST_RUN_PARAM=参数值
• 环境变量设置完成后，调用测试框架运行器全量执行所有feature文件
• 所有场景的执行逻辑统一读取该环境变量作为入参使用

方案2：测试工程内部封装循环执行逻辑 #

如果希望执行逻辑全部收敛在测试工程内，不需要额外写外部脚本，可以通过框架的钩子能力实现：

• 给所有需要批量执行的Feature文件打上统一标签，比如@FullSuite
• 在公共钩子文件中定义全局参数列表，以及入口执行逻辑，下面是pytest-bdd的示例代码：

import pytest
# 定义参数列表，有多少组参数就加多少个元素
run_params = ["param1", "param2"]

def test_run_full_suite():
    for current_param in run_params:
        # 每次传入当前参数，调用pytest执行所有带@FullSuite标签的用例
        pytest.main(["-m", "FullSuite", f"--current-run-param={current_param}"])

• 对应参数可以通过pytest的自定义命令行参数能力注入到所有测试用例中

方案3：使用框架原生套件级参数化能力 #

大部分主流测试框架都原生支持会话/套件级别的参数化，配置后可以直接实现需求：

• JUnit 5可以搭配@Suite注解和@ParameterizedTest参数源，指定每次参数变更时执行全量测试类
• pytest可以通过pytest_generate_tests钩子，设置参数作用域为scope="session"，即可强制框架按参数分组执行，同一参数下所有用例跑完才会切换下一个参数

注意使用该方案时需要手动确认框架的参数作用域配置，避免默认的用例级参数化导致执行顺序不符合预期

选型建议 #

• 临时需要多参数运行，不想改动现有代码选方案1
• 需要把执行逻辑打包进测试工程，降低使用门槛选方案2
• 追求执行效率，框架原生支持套件级参数化选方案3

内容的提问来源于stack exchange，提问作者Chethan Swaroop