Node.js拆分21k条CSV数据为500条/批的高效API调用方案咨询

业务背景 #

• 待处理CSV文件共21000条记录，每行存储1条独立的字母数字字符串
• 需求：读取所有记录，转换为JSON键值对格式的请求负载发送至API完成后续处理
• 限制条件：目标API单次最多接收500个元素，超出限制会被拒绝处理
• 当前已经搭建了一套基础实现流程，希望探索运行效率更高、稳定性更强的优化方案

已落地的初步实现逻辑 #

1. 将CSV文件内容全量加载为一维数组
2. 把一维数组拆分为若干个长度固定为500元素的子数组
3. 逐次使用每个子数组构建JSON请求负载，发送至目标API

初步实现的示例代码 #

var dataArray = [];

fs.readFile(inputPath, 'utf8', function (err, data) {
    dataArray = data.split(/\r?\n/);  
 })


var temp = [];
for(i=0;i<dataArray.length;){
  temp=[];
 for(j=0;(j<500 && i<dataArray.length);j++){  
    temp.push(data[i]);
    i++;
  }
  // make API call with current values of temp array
  makeCallToAPI(temp);
}

现有实现的问题与可优化方向 #

已存在的运行问题 #

• 代码逻辑存在执行时序bug：fs.readFile是异步方法，文件读取完成的回调执行前，外层同步运行的拆分、发请求循环已经执行完毕，此时dataArray还是空数组，根本无法正常处理数据
• 拆分逻辑冗余：双层循环手动计数、逐元素push到临时数组的写法，执行效率低于原生数组切片实现，且容易在边界条件下出现计数错误
• 无容错机制：未考虑空行过滤、请求失败重试、并发控制的逻辑，实际生产运行时稳定性不足

效率与稳定性优化点 #

• 文件读取阶段优先选用流式逐行读取替代全量读入：不需要等待整个文件加载完成，每累计读取满500条有效记录就生成一个请求批次，既可以缩短从文件启动到发送第一个请求的等待时间，也能避免后续文件体量增大时出现内存占用过高的问题
• 批次拆分逻辑替换为原生切片实现：移除手动计数的双层循环，直接以500为步长遍历全量数组，用slice方法截取对应区间的元素作为请求批次，原生方法的执行效率远高于手动逐元素push的写法，代码可读性也更强
• 配置合理的请求并发控制：不需要严格串行等待上一个批次的API返回后再发送下一个请求，可根据API的限流规则，控制2-3个请求并发执行，在不触发接口限流的前提下大幅压缩整体网络等待耗时
• 增加基础数据校验逻辑：在生成批次前过滤掉CSV解析产生的空行、重复无效记录，避免发送无效请求浪费API配额
• 增加有限次失败重试：对网络超时、API返回5xx错误的批次，做3次以内的指数退避重试，避免单次网络波动导致整体处理流程中断

内容的提问来源于stack exchange，提问作者Ayush Kumar