You need to enable JavaScript to run this app. Gatling Feeder 如何加载多份大体积CSV且无需合并文件
优惠活动
大模型
产品
解决方案
定价
更多

Gatling Feeder 如何加载多份大体积CSV且无需合并文件

Gatling 多/大体积CSV Feeder 实现方案

核心说明

Gatling原生支持直接传入多个CSV文件路径、甚至指定扫描整个文件夹完成Feeder加载,完全不需要提前合并生成单份超大文件,且加载过程为流式读取,单份14GB的CSV也不会触发内存溢出问题。

1. 原生内置实现方式

Gatling的csv() Feeder方法提供了多文件/文件夹路径的重载支持,仅要求所有被加载的CSV文件表头结构完全一致,和现有场景完全匹配:

  • 手动传入多个文件路径:按手动传入的顺序依次消费文件数据
    // 多文件路径入参,按传入顺序加载
    val multiFileFeeder = csv(
      "test_data/user_part1.csv",
      "test_data/user_part2.csv",
      "test_data/user_part3.csv"
    ).circular
    
  • 直接指定文件夹路径:Gatling会自动扫描该路径下所有.csv后缀的文件,按文件名字典序排序后依次加载
    // 直接指定resources下的文件夹路径
    val folderFeeder = csv("test_data/all_user_data/").circular
    

2. 关键行为说明

  • 路径解析规则:所有传入的文件/文件夹路径,默认从src/main/resources目录下开始解析,不需要手写绝对路径
  • 启动校验逻辑:Gatling启动阶段会自动校验所有待加载CSV的表头列名、列数是否完全匹配,若存在结构不一致会直接抛出启动异常,避免运行时数据错位
  • 内存特性:大文件加载默认采用逐行流式读取模式,不会一次性把全量文件内容加载到内存,即使单文件达到14GB级别,堆内存占用也会保持在较低水平
  • 策略兼容:单文件Feeder支持的所有消费策略(circular/queue/random/shuffle等),在多文件/文件夹加载场景下完全通用,不需要额外适配

3. 自定义筛选加载方式

如果不需要加载文件夹下的所有CSV,而是需要按文件名规则筛选部分文件加载,可以自行扫描文件路径后,通过可变参数形式传入csv()方法,不需要开发自定义Feeder:

import java.io.File

// 扫描resources下的目标文件夹,筛选符合规则的CSV文件
val dataDir = new File(getClass.getResource("/test_data/daily").toURI)
val filteredCsvPaths = dataDir.listFiles()
  .filter(file => file.getName.matches("202410\\d{2}\\.csv")) // 自定义筛选规则
  .sorted()
  .map(file => s"test_data/daily/${file.getName}")
  .toSeq

// 把筛选后的文件列表传入csv feeder
val customFilterFeeder = csv(filteredCsvPaths: _*).queue

内容的提问来源于stack exchange,提问作者Forin

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 00:06:04