如何在Pentaho Job中批量为所有Transformation的表实现数据掩码？

方案1：Job中用JavaScript动态修改转换元数据 #

这种方式适合保留现有Copy Tables生成的转换，在Job执行前自动插入掩码步骤。

具体步骤： #

1. 遍历目标转换文件：在Job中添加Get Files步骤，遍历存放300+转换的目录，获取每个转换的文件路径。
2. JavaScript Job Entry修改转换XML：添加JavaScript类型的Job Entry，读取转换的XML内容，插入Replace in String步骤并调整数据流连接。
3. 执行修改后的转换：用Transformation Job Entry执行修改后的转换（建议先保存再执行）。

核心JavaScript代码示例： #

// 从Job参数获取当前转换路径
var transPath = job.getVariable("TRANS_FILE_PATH");
var file = new File(transPath);

// 读取转换XML
var xmlContent = file.readFile("UTF-8");
var doc = new XML(xmlContent);

// 定位Copy Tables生成的Table Output步骤
var tableOutputStep = doc.spoon.transformation.step.(type == "TableOutput")[0];
if (!tableOutputStep) {
  job.setResult(false);
  throw new Error("未找到Table Output步骤");
}

// 生成Replace in String步骤的XML节点（根据你的掩码规则调整）
var replaceStepName = "Mask Sensitive Fields";
var replaceStep = <step>
  <name>{replaceStepName}</name>
  <type>ReplaceInString</type>
  <description>自动添加的敏感字段掩码步骤</description>
  <distribute>Y</distribute>
  <copies>1</copies>
  <partitioning>
    <method>none</method>
  </partitioning>
  <fields>
    <!-- 示例：手机号掩码 -->
    <field>
      <field_name>phone</field_name>
      <replace_field>phone</replace_field>
      <replace_type>regex</replace_type>
      <search>^(\\d{3})\\d{4}(\\d{4})$</search>
      <replace>$1****$2</replace>
      <case_sensitive>N</case_sensitive>
      <whole_word>N</whole_word>
      <use_backreference>Y</use_backreference>
    </field>
    <!-- 示例：身份证号掩码 -->
    <field>
      <field_name>id_card</field_name>
      <replace_field>id_card</replace_field>
      <replace_type>regex</replace_type>
      <search>^(\\d{6})\\d{8}(\\d{4})$</search>
      <replace>$1********$2</replace>
      <case_sensitive>N</case_sensitive>
      <whole_word>N</whole_word>
      <use_backreference>Y</use_backreference>
    </field>
  </fields>
  <GUI>
    <x>300</x>
    <y>200</y>
    <draw>Y</draw>
  </GUI>
</step>;

// 在Table Output前插入Replace步骤
var stepNodes = doc.spoon.transformation.step;
stepNodes.insertBefore(replaceStep, tableOutputStep);

// 调整数据流连接（Hop）：将原指向Table Output的Hop改为指向Replace步骤，再添加新Hop到Table Output
var hops = doc.spoon.transformation.hop;
for each (var hop in hops) {
  if (hop.to_step_name == tableOutputStep.name) {
    // 复制原Hop，修改目标为Replace步骤
    var newHop = hop.copy();
    newHop.to_step_name = replaceStepName;
    hops.insertBefore(newHop, hop);
    // 修改原Hop的源为Replace步骤
    hop.from_step_name = replaceStepName;
    break;
  }
}

// 保存修改后的转换文件（务必先备份原文件）
file.writeFile(doc.toString(), "UTF-8");
job.setResult(true);

注意事项： #

• 先备份所有转换文件，避免修改出错导致数据丢失。
• 不同PDI版本的XML节点结构可能略有差异，需根据自己的版本调整XML内容。
• 敏感字段的正则规则和替换逻辑需根据实际业务调整。

方案2：使用模板转换+Job参数化（更易维护） #

如果不想修改现有转换，可创建一个通用模板转换，通过Job参数批量驱动执行，避免重复劳动。

具体步骤： #

1. 创建模板转换：
   • 用Table Input读取源数据库A的表（表名用变量${SOURCE_TABLE}）。
   • 添加Replace in String步骤，配置敏感字段的掩码规则（字段名可通过变量或配置文件动态读取）。
   • 用Table Output写入数据库B的表（表名用变量${TARGET_TABLE}）。
2. 配置Job批量执行：
   • 准备一个CSV配置文件，包含所有需要复制的表信息：source_table,target_table,sensitive_fields。
   • 在Job中用CSV File Input读取配置文件，通过For Each Row循环遍历每一行。
   • 循环内调用模板转换，传递SOURCE_TABLE、TARGET_TABLE等参数，若敏感字段不同，可传递字段规则参数或让模板读取配置文件。

优势： #

• 无需修改现有300+转换，统一维护模板转换的掩码规则。
• 后续新增表只需在配置文件中添加，无需修改转换或Job。

方案3：批量修改转换XML文件（一次性操作） #

如果只是需要一次性给所有转换添加掩码步骤，可编写外部脚本（Python/Node.js）批量处理转换的XML文件，无需在PDI Job中动态修改。

思路： #

• 遍历所有转换文件，解析XML结构。
• 插入Replace in String步骤节点，调整数据流Hop。
• 保存修改后的XML文件。

这种方式适合一次性完成修改，之后转换就自带掩码步骤，无需每次Job执行都修改。

内容的提问来源于stack exchange，提问作者Tommer