Gatling Feeder 如何加载多份大体积CSV且无需合并文件
Gatling 多/大体积CSV Feeder 实现方案
核心说明
Gatling原生支持直接传入多个CSV文件路径、甚至指定扫描整个文件夹完成Feeder加载,完全不需要提前合并生成单份超大文件,且加载过程为流式读取,单份14GB的CSV也不会触发内存溢出问题。
1. 原生内置实现方式
Gatling的csv() Feeder方法提供了多文件/文件夹路径的重载支持,仅要求所有被加载的CSV文件表头结构完全一致,和现有场景完全匹配:
- 手动传入多个文件路径:按手动传入的顺序依次消费文件数据
// 多文件路径入参,按传入顺序加载 val multiFileFeeder = csv( "test_data/user_part1.csv", "test_data/user_part2.csv", "test_data/user_part3.csv" ).circular - 直接指定文件夹路径:Gatling会自动扫描该路径下所有
.csv后缀的文件,按文件名字典序排序后依次加载// 直接指定resources下的文件夹路径 val folderFeeder = csv("test_data/all_user_data/").circular
2. 关键行为说明
- 路径解析规则:所有传入的文件/文件夹路径,默认从
src/main/resources目录下开始解析,不需要手写绝对路径 - 启动校验逻辑:Gatling启动阶段会自动校验所有待加载CSV的表头列名、列数是否完全匹配,若存在结构不一致会直接抛出启动异常,避免运行时数据错位
- 内存特性:大文件加载默认采用逐行流式读取模式,不会一次性把全量文件内容加载到内存,即使单文件达到14GB级别,堆内存占用也会保持在较低水平
- 策略兼容:单文件Feeder支持的所有消费策略(
circular/queue/random/shuffle等),在多文件/文件夹加载场景下完全通用,不需要额外适配
3. 自定义筛选加载方式
如果不需要加载文件夹下的所有CSV,而是需要按文件名规则筛选部分文件加载,可以自行扫描文件路径后,通过可变参数形式传入csv()方法,不需要开发自定义Feeder:
import java.io.File // 扫描resources下的目标文件夹,筛选符合规则的CSV文件 val dataDir = new File(getClass.getResource("/test_data/daily").toURI) val filteredCsvPaths = dataDir.listFiles() .filter(file => file.getName.matches("202410\\d{2}\\.csv")) // 自定义筛选规则 .sorted() .map(file => s"test_data/daily/${file.getName}") .toSeq // 把筛选后的文件列表传入csv feeder val customFilterFeeder = csv(filteredCsvPaths: _*).queue
内容的提问来源于stack exchange,提问作者Forin
相关产品推荐
相关产品推荐

