如何通过Metadata Injection循环处理百张表？现有方案是否可行？

一、怎么实现循环处理 #

• 用**Job（作业）**做核心控制：
  1. 先准备元数据：把每张表对应的两个SQL、维度表名、映射字段整理成一行数据（不管用Data Grid还是数据库读取）；
  2. 用Copy rows to result将这些元数据行传递给后续步骤；
  3. 用Transformation Executor调用目标KTR，开启每一行执行一次转换的选项，就能循环逐条处理100张表的配置；
• 目标KTR需配置元数据注入：
  • 给两个Table Input步骤分别注入对应的SQL参数；
  • 给Dimension Lookup/Update步骤注入目标表名和映射字段，注意步骤的元数据注入名称要和传递过来的字段名一一对应。

二、当前Data Grid方案的优缺点 #

可行但有明显局限 #

• 优点：上手快，无需额外依赖数据库，调试时能直接查看所有配置；
• 缺点：100行配置手动维护极易出错，后续改配置、加表都要逐个编辑，且配置存在KTR文件内，版本管理和批量修改都很不方便。

三、改进建议 #

• 1. 把配置迁移到数据库表：新建一张etl_batch_config表，字段包含你需要的两个SQL、维度表名、映射字段，将100张表的配置插入其中。主转换用Table Input读取这张表代替Data Grid——后续维护直接在数据库操作，支持批量更新，还能添加状态标记（比如标记哪些表需要跳过）、字段注释等；
• 2. 简化SQL配置：如果两个Table Input的SQL仅表名不同，别存完整SQL，只存源表名，在目标KTR里用变量拼接SQL，比如SELECT id, name FROM ${source_table}_detail，既减少配置量，也降低写错概率；
• 3. 增加异常处理：主作业里给目标KTR的执行步骤添加错误分支，比如处理失败时将表名、错误信息写入日志表，避免单张表处理失败导致整个批量任务中断；
• 4. 自动映射字段：如果映射字段是固定名称，且源表与维度表字段名一致，直接在Dimension Lookup/Update中开启自动匹配字段，无需手动配置映射，可省去第四列的配置项。

内容的提问来源于stack exchange，提问作者user22409127