如何在Apache Beam/Dataflow中为BoundedSource实现按大小而非时间分批

方案1：修改自定义BoundedSource的分片逻辑（最适配你的场景） #

你已经自己实现了BoundedSource接口，直接修改它的splitIntoBundles方法即可满足需求：

• 拆分时直接按200条为单位拆分出多个子Source，每个子Source仅负责读取200条REST API记录
• Beam会自动按拆分后的分片为单位处理：读取单个分片的200条记录、执行后续处理逻辑、写入BigQuery，再处理下一个分片
• 如果需要严格串行执行（处理完一批再查下一批），只要设置流水线的最大并行度为1即可

方案2：使用Beam原生GroupIntoBatches转换 #

如果不想修改现有Source实现，可以用GroupIntoBatches转换实现按固定条数分组：

• 给每条记录设置一个相同的静态Key（比如固定值0，你的总数据量仅1万条，不会出现数据倾斜问题）
• 调用GroupIntoBatches.ofSize(200)，输出的每个元素就是包含200条记录的集合
• 后续对每个集合内的记录做处理后写入BigQuery即可
• 如果后续数据量上涨，可以先给每条记录随机分配1~N的Key，每个Key单独按200条分组，避免单Key压力过大

方案3：用Partition转换手动分批 #

如果需要更灵活的分批规则，也可以用Partition实现：

• 给每条记录按读取顺序生成递增序号
• 用「序号 // 200」作为分区标识，将数据拆分为多个200条的分区
• 后续按分区为单位处理和写入即可

关于窗口方案的说明 #

Beam内置的窗口确实都是基于时间维度实现的，没有原生的计数窗口，核心原因是分布式环境下全局精确的计数窗口实现成本很高，针对有界数据集完全可以用上面三种方案替代，不需要硬套窗口逻辑。

写入BigQuery的注意事项 #

如果需要保证批次写入的严格顺序，可以将BigQueryIO的写入模式设置为WriteDisposition.WRITE_APPEND，避免异步批量加载导致的写入顺序错乱。

内容的提问来源于stack exchange，提问作者vulpes