WSO2 Streaming Integrator 百万级CSV大文件读写性能问题咨询

1. 源端CSV读取配置优化 #

• 禁用不必要的读取校验：将file源配置中的validation.enabled参数设为false，关闭默认的逐行格式校验，非严格校验场景下可提升30%以上读取效率
• 启用批量读取模式：设置file.read.batch.size参数值为1000~10000（根据服务器内存调整），每次批量读取多行后再送入流处理链路，避免单条读取的IO开销
• 调整文件读取缓冲区大小：将file.buffer.size从默认值调整为65536（64KB）或更高，减少磁盘IO交互次数
• 避免读取时的字段转换冗余：如果CSV字段无需在读取阶段做类型转换，统一先以string类型读取，后续必要时再做转换，减少逐行解析的算力消耗

2. 流处理链路优化 #

• 移除无用的处理节点：如果当前流程中没有任何数据转换、过滤逻辑，直接打通读节点到写节点的链路，不要插入任何无意义的日志、校验、统计节点
• 禁用同步处理模式：将流的处理模式调整为异步，设置siddhi.stream.processing.mode为async，利用内部线程池并行处理批次数据
• 调整 Siddhi 线程池配置：修改deployment.yaml中siddhi.core.threadpool.input.worker.count参数，根据CPU核心数设置为核心数的2~4倍，提升并行处理能力

3. 目标端CSV写入配置优化 #

• 启用批量写入：将file sink配置中的file.write.batch.size设置为和读取批次一致的数值，攒够一批数据后再一次性写入磁盘，避免单条写入的IO开销
• 关闭写入刷盘的同步机制：将file.sync.on.write参数设为false，不要每次写入都强制刷盘，由操作系统自动调度刷盘逻辑，可大幅提升写入速度
• 调整写入缓冲区：设置file.sink.buffer.size为128KB或更高，减少IO交互次数
• 避免写入时的字段格式化冗余：如果不需要自定义字段输出格式，直接使用默认的CSV序列化规则，不要添加逐行的格式化逻辑

4. 服务器侧配置优化 #

• 提升JVM堆内存分配：修改启动脚本中Xmx参数，至少分配4GB以上堆内存，避免批次处理时频繁GC导致性能下降
• 将读写的CSV文件放在SSD磁盘上：避免HDD磁盘随机IO性能瓶颈，大文件场景下SSD的连续读写性能是HDD的5~10倍
• 关闭服务器上不必要的后台进程：避免其他进程占用CPU、IO资源影响任务执行

注意：调整批量大小的同时需要同步监控JVM内存占用，避免批次过大导致OOM问题，建议从1000的批次大小开始逐步向上调整到性能最优值。调整单个参数后单独压测，记录每一组参数对应的TPS，找到适配当前服务器资源的最优配置组合。100万条CSV数据在最优配置下预期处理耗时应该在2分钟以内，符合官方给出的性能基准。

内容的提问来源于stack exchange，提问作者Fateme Shahrabi