如何修正无法生成预期结构的Jolt Transformation转换规则？

现存规则的核心问题 #

• 映射路径层级偏移：未对齐ConsolidatedList数组的遍历深度，导致单条记录字段直接输出到顶层，未按要求嵌套进Records分层数组
• 数组索引逻辑错误：处理分段姓名、多地址这类嵌套数组字段时，硬编码固定索引位置，未使用通配符匹配全量元素，造成多值数据丢失
• 全局字段提取逻辑混乱：将全局统计类字段（总记录数、全局最后更新时间等）和单条记录字段写在同一shift遍历规则中，导致统计值被多循环的重复值覆盖

分步修正后的转换规则 #

按照Jolt执行流程，先做全局元信息计算，再做分层结构重组：

步骤1：全局元信息计算（modify-overwrite-beta 操作） #

[
  {
    "operation": "modify-overwrite-beta",
    "spec": {
      "ConsolidatedList": {
        "*": {}
      },
      "GlobalMeta": {
        "TotalRecordCount": "size(@(1/ConsolidatedList))",
        "LatestUpdateTime": "max(@(2/ConsolidatedList/*/LastUpdated))",
        "RecordTypeEnum": "=unique(@(2/ConsolidatedList/*/RecordType))",
        "PageSize": 20
      }
    }
  }
]

步骤2：分层记录结构重组（shift 操作） #

[
  {
    "operation": "shift",
    "spec": {
      "ConsolidatedList": {
        "*": {
          // 单条制裁记录核心字段
          "EntryId": "Records[&1].EntryId",
          "SanctionBasis": "Records[&1].SanctionBasis",
          "EntryUpdateTime": "Records[&1].LastUpdated",
          // 姓名相关字段嵌套为Names子数组
          "NameInfo": {
            "*": {
              "AliasCategory": "Records[&3].Names[&1].AliasCategory",
              "GivenName": "Records[&3].Names[&1].GivenName",
              "MiddleName": "Records[&3].Names[&1].MiddleName",
              "FamilyName": "Records[&3].Names[&1].FamilyName"
            }
          },
          // 地址相关字段嵌套为Addresses子数组
          "LocationInfo": {
            "*": {
              "IsBirthPlace": "Records[&3].Addresses[&1].IsBirthPlace",
              "StreetDetail": "Records[&3].Addresses[&1].StreetDetail",
              "City": "Records[&3].Addresses[&1].City",
              "Country": "Records[&3].Addresses[&1].Country"
            }
          }
        }
      },
      // 全局统计字段映射到输出顶层
      "GlobalMeta": {
        "TotalRecordCount": "TotalRecordCount",
        "LatestUpdateTime": "LatestUpdateTime",
        "RecordTypeEnum": "RecordTypeEnum",
        "PageSize": "PageSize"
      }
    }
  }
]

关键修正逻辑说明 #

• 数组索引采用相对路径回溯：通过Jolt的&N语法向上回溯层级获取数组索引，自动对齐每条Records、Names、Addresses的位置，无需硬编码固定索引值
• 全局字段做独立节点隔离：在modify阶段将所有需要全局计算的字段提取到独立的GlobalMeta节点，避免被数组遍历的循环逻辑覆盖
• 嵌套多值字段全量匹配：对姓名、地址这类数组结构，使用*通配符逐层匹配所有元素，保证多别名、多地址的条目不会出现数据截断

内容的提问来源于stack exchange，提问作者Syed Anas