如何在通过Launcher实例运行时随机化所有测试（含类间执行顺序）？

要解决你遇到的「类内方法随机但类按发现顺序执行」的问题，核心是要同时随机测试类的执行顺序，再结合你已经配置的方法级随机，就能实现所有测试用例的全量随机化。以下是具体实现方案：

核心思路 #

JUnit 5.4及以上版本提供了ClassOrderer机制来控制测试类的执行顺序，其中ClassOrderer.Random可以直接实现类的随机排序。配合你已经使用的@TestMethodOrder(MethodOrderer.Random.class)（或全局方法随机配置），就能让所有测试类和类内方法都随机执行。

编程式配置Launcher实现全量随机 #

因为你是通过Launcher实例运行测试，所以可以在构建LauncherDiscoveryRequest时添加全局配置参数，指定类和方法的随机规则：

import org.junit.platform.engine.discovery.DiscoverySelectors;
import org.junit.platform.launcher.Launcher;
import org.junit.platform.launcher.LauncherDiscoveryRequest;
import org.junit.platform.launcher.core.LauncherDiscoveryRequestBuilder;
import org.junit.platform.launcher.core.LauncherFactory;
import org.junit.platform.launcher.listeners.SummaryGeneratingListener;
import org.junit.platform.launcher.listeners.TestExecutionSummary;

public class FullRandomTestRunner {
    public static void main(String[] args) {
        // 构建测试发现请求，指定要扫描的测试包/类
        LauncherDiscoveryRequest discoveryRequest = LauncherDiscoveryRequestBuilder.request()
                .selectors(DiscoverySelectors.selectPackage("com.yourcompany.tests"))
                // 配置测试类全局随机排序
                .configurationParameter(
                    "junit.jupiter.testclass.order.default",
                    "org.junit.jupiter.api.ClassOrderer$Random"
                )
                // 配置测试方法全局随机排序（若类未显式标注@TestMethodOrder则生效）
                .configurationParameter(
                    "junit.jupiter.testmethod.order.default",
                    "org.junit.jupiter.api.MethodOrderer$Random"
                )
                // 可选：设置随机种子，方便复现测试顺序（不设置则每次随机）
                .configurationParameter("junit.jupiter.random.seed", "42")
                .build();

        // 创建Launcher并执行测试
        Launcher launcher = LauncherFactory.create();
        SummaryGeneratingListener executionListener = new SummaryGeneratingListener();
        
        launcher.execute(discoveryRequest, executionListener);

        // 输出测试执行摘要
        TestExecutionSummary summary = executionListener.getSummary();
        summary.printTo(System.out);
    }
}

关键细节说明 #

1. 版本要求：必须使用JUnit Jupiter 5.4或更高版本，因为ClassOrderer是5.4版本才引入的特性。
2. 优先级规则：如果你的测试类已经显式标注了@TestMethodOrder，那么类内的方法排序会以注解配置为准，全局的方法排序参数不会覆盖它（这正好符合你当前的场景）。
3. 随机种子：设置junit.jupiter.random.seed参数后，每次运行的测试顺序会完全一致，非常适合调试或复现问题；如果不设置，每次运行都会生成新的随机顺序。
4. 类排序生效范围：ClassOrderer.Random会对所有被Launcher发现的测试类生效，不管它们的定义顺序或包路径。

替代方案：通过配置文件全局生效 #

如果你不想在代码里硬编码配置，也可以在项目的src/test/resources/junit-platform.properties文件中添加以下配置，同样能实现全量随机：

# 随机测试类顺序
junit.jupiter.testclass.order.default = org.junit.jupiter.api.ClassOrderer$Random
# 随机测试方法顺序
junit.jupiter.testmethod.order.default = org.junit.jupiter.api.MethodOrderer$Random
# 可选：固定随机种子
junit.jupiter.random.seed = 42

这种方式下，Launcher会自动读取该配置，无需在代码中添加参数。

内容的提问来源于stack exchange，提问作者Yehuda Broderick