Cloud Data Fusion 同一流水线遍历处理Excel多工作表方案咨询

方案一：Cloud Function 批量触发参数化流水线（优先推荐） #

完全复用你已完成的参数化流水线逻辑，无需调整Data Fusion侧代码：

• Cloud Function 被GCS上传事件触发后，先通过openpyxl或pandas库仅读取Excel文件的工作表元数据，提取全部工作表名列表，无需加载全量文件内容，资源消耗极低。
• 遍历工作表名列表，循环调用Data Fusion 流水线运行接口，每次传入当前工作表名、GCS文件路径作为运行时参数即可。
• 高并发场景优化：如果单次触发的工作表数量超过50个，可以搭配Cloud Tasks做异步分发，把每次调用的参数存入任务队列，按设置的并发数消费，避免触发Data Fusion的瞬时并发配额限制。

该方案的优势是各工作表的处理任务完全隔离，单个任务失败不会影响其余工作表的处理，问题排查可直接按单个任务ID定位，符合Data Fusion的任务调度最佳实践。

方案二：Data Fusion 单流水线内置循环遍历 #

如果你希望所有逻辑收敛在Data Fusion侧，仅触发一次流水线即可完成全量工作表处理，可按如下逻辑改造现有流水线：

• 在流水线入口新增Python执行插件，读取目标Excel文件的工作表名列表，输出为数组类型字段。
• 接入Data Fusion原生的「For Each」循环控制组件，遍历工作表名数组，循环体内直接复用你已开发完成的Wrangler处理逻辑，每次循环将当前工作表名注入Wrangler的参数即可，最终按表名写入对应目标表。

该方案仅需触发一次流水线，但缺点是所有工作表处理耦合在同一个任务中，单个工作表处理失败会导致整个流水线中断，且多工作表大文件场景下的处理效率远低于多实例并行执行。

选型参考 #

工作表数量小于20、单表数据量低于10万行时两个方案均可使用；如果工作表数量波动大、单表数据量高，优先选择方案一，处理效率和运维成本更优。

内容的提问来源于stack exchange，提问作者RaptorX