TestNG+DataProvider并行执行触发Java堆内存溢出问题求助

1. 限制DataProvider并行线程数 #

别只加parallel=true，直接在注解里指定合理的线程数——之前设20卡住明显是线程过载了，先从低数值（比如4、8）试起：

@DataProvider(name = "data-provider", parallel = true, threadCount = 8)

如果想全局统一控制，也可以在testng.xml里配置：

<suite name="TestSuite" data-provider-thread-count="8">
  <!-- 测试类/方法配置 -->
</suite>

2. 调整JVM堆内存并确保参数生效 #

之前的2G堆内存可能不够，而且要确认参数真的传到了forked的测试JVM里。更新maven-surefire-plugin配置：

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-surefire-plugin</artifactId>
    <version>3.2.5</version>
    <configuration>
        <forkCount>2</forkCount> <!-- 按服务器CPU核数调整，4核机器设2-3就行 -->
        <reuseForks>true</reuseForks>
        <argLine>-Xms2048m -Xmx4096m -XX:+HeapDumpOnOutOfMemoryError</argLine>
        <systemPropertyVariables>
            <testng.data-provider.thread-count>8</testng.data-provider.thread-count>
        </systemPropertyVariables>
    </configuration>
</plugin>

• 把-Xmx拉到4G（如果服务器内存够，还可以更高，比如8G内存设到6G）
• 加-XX:+HeapDumpOnOutOfMemoryError，OOM时会生成堆转储文件，方便排查内存泄漏
• forkCount控制同时运行的JVM实例数，避免单JVM扛太多并发

3. 排查测试代码的内存泄漏问题 #

堆内存耗尽不一定是内存不够，可能代码里有泄漏：

• 检查测试用例里有没有未关闭的资源（比如数据库连接、文件流、UI自动化的浏览器实例）
• 测试结束后有没有清理大对象（比如缓存集合、临时测试数据）
• 用堆转储分析工具（比如MAT、jvisualvm）打开OOM时生成的dump文件，找出占用内存最高的对象，定位泄漏点

4. 优化测试数据和用例 #

• 别一次性加载超大的DataProvider数据集，拆分成分批执行的小数据集
• 把资源占用高的用例和低的分开执行，避免内存占用峰值叠加
• 关掉不必要的日志输出，减少IO和内存消耗

5. 调整服务器资源 #

如果Azure服务器本身内存不足，直接升级服务器规格（比如从2G内存升到4G/8G）；另外Jenkins上别同时跑太多任务，避免抢占资源

内容的提问来源于stack exchange，提问作者Mandy