Kettle作业中如何设置每n行执行一次转换并传递批量数据？

当然可以实现每N行触发一次转换，还能把这N行数据批量传递给转换处理！下面是两种经过实践验证的最优方案，你可以根据自己的场景来选：

方案1：行号分组 + 作业循环触发 #

这个方案适合需要严格按顺序分批、且每批数据需要独立标识的场景，步骤很清晰：

• 先做个预处理转换：
  • 读取你的源数据，用增加序列步骤给每一行加个从1开始的行号row_id。
  • 用计算器步骤算个分组ID：batch_id = INT((row_id - 1)/N)，这样每N行的batch_id都会一模一样，自动把数据分成了每N行一组。
  • 用排序记录按batch_id排个序，保证同组数据凑在一起。
  • 最后用复制记录到结果把带分组标识的数据传到作业里。
• 再搭个主作业：
  • 先执行刚才的预处理转换，拿到所有分组好的数据。
  • 加个循环作业项，循环条件设成“还有没处理的批次”就行。
  • 循环里面先加个过滤记录，把当前batch_id对应的N行数据筛出来（可以用个变量跟踪当前处理的批次号，从0开始，每处理完一批就加1）。
  • 把筛选好的N行用复制记录到结果传给你的业务处理转换，然后执行这个转换就行。
  • 循环到所有批次都处理完就结束。

方案2：用转换步骤的“块大小”直接批量触发 #

这个方法更省心，不用折腾作业循环，直接在转换内部就能搞定，是大多数场景的首选：

• 在生成源数据的转换里，读完数据后，用转换步骤（注意是转换里的那个转换组件，不是作业里的转换项）来调用你的目标处理转换。
• 打开这个转换步骤的配置，切到“高级”标签页，勾选「设置处理行数」，然后填入你要的N值。这样每攒够N行数据，就会自动触发一次目标转换，而且这N行会直接传递过去。
• 记得在目标转换里用获取记录从结果步骤来接收这批数据，然后再做后续的业务处理就行。

额外小贴士 #

• 如果你的数据是从数据库读的，还可以用分页查询（比如MySQL的LIMIT offset, N）配合作业循环来分批拉取数据，这种方式适合超大数据量的场景，能避免一次性把所有数据加载到内存里。
• 不管用哪种方案，都要确保目标转换能支持批量处理（比如批量插入数据库），这样才能真正发挥分批处理的性能优势。

内容的提问来源于stack exchange，提问作者eych