Jolt转换输出生成空值且无法移除的技术问题咨询

我之前在处理复杂嵌套JSON的Jolt转换时，也碰到过类似的null值清理不掉的问题，多半是因为转换规则的匹配逻辑没处理好，或者没用到Jolt的清理类操作。结合你的输入结构，咱们来一步步解决：

先明确你的输入结构（补全省略后的合法JSON） #

首先确保你的输入是合法JSON，比如你提供的最后一个CategoryId可以补全为完整值，示例如下：

{
  "BusinessInfo": {
    "MemberInformation": {
      "Item": [
        {
          "Relation": {
            "Item": [
              {
                "Partner1": "0072938063",
                "Partner2": "0072938064",
                "CategoryId": "BUR001"
              },
              {
                "Partner1": "0072938063",
                "Partner2": "0072937669",
                "CategoryId": "ZCRM06"
              },
              {
                "Partner1": "0072938063",
                "Partner2": "3000011685",
                "CategoryId": "ZCRM06"
              },
              {
                "Partner1": "1020002423",
                "Partner2": "0072938063",
                "CategoryId": "ZCRM01"
              },
              {
                "Partner1": "0072938067",
                "Partner2": "0072938063",
                "CategoryId": "ZCRM02"
              }
            ]
          }
        }
      ]
    }
  }
}

针对性的Jolt转换方案 #

假设你的目标是把所有Relation.Item下的伙伴关系提取为一个扁平化的数组，同时彻底移除所有null值，用以下Jolt规范即可：

[
  // 第一步：扁平化提取目标数据，避免嵌套层级带来的冗余null
  {
    "operation": "shift",
    "spec": {
      "BusinessInfo": {
        "MemberInformation": {
          "Item": {
            "*": {
              "Relation": {
                "Item": {
                  "*": {
                    // 把每个Relation.Item对象直接映射到partnerRelations数组
                    "@": "partnerRelations[]"
                  }
                }
              }
            }
          }
        }
      }
    }
  },
  // 第二步：移除单个对象内的null字段（如果有的话）
  {
    "operation": "remove",
    "spec": {
      "partnerRelations": {
        "*": {
          // 匹配所有值为null的键，直接移除
          "$null": ""
        }
      }
    }
  },
  // 第三步：过滤数组中整个为null的元素（如果转换过程中生成了这类元素）
  {
    "operation": "modify-overwrite-beta",
    "spec": {
      "partnerRelations": "=filter(@, notNull)"
    }
  }
]

各步骤说明 #

1. Shift操作：精准定位到嵌套最深的Relation.Item数组，把每个对象直接提取到顶层的partnerRelations数组中，避免了多层嵌套可能带来的未命中路径null。
2. Remove操作：遍历partnerRelations中的每个对象，移除所有值为null的字段。Jolt的$null是特殊匹配符，专门识别值为null的键值对。
3. Modify过滤：如果转换过程中数组里混入了整个为null的元素（比如某个Item本身就是null），用filter结合notNull函数直接把这些null元素从数组中剔除。

额外注意事项 #

• 如果你的目标输出结构不同，只需要调整shift阶段的映射规则即可，核心是尽量减少不必要的嵌套，避免未命中的路径生成null。
• 一定要保证输入JSON的合法性，语法错误（比如未闭合的字符串、缺失括号）会导致Jolt转换出现异常的null或错误。

内容的提问来源于stack exchange，提问作者Martinsiyo