在IICS中如何将含JSON字段的客户表数据结构化并加载至文件？

解决思路 #

Hierarchy Parser仅支持单个输入字段的限制，可以通过先合并关系型字段与JSON字段为单个完整JSON对象，再进行解析的方式解决。

具体步骤 #

1. 使用Expression转换构造合并后的JSON字段
   在数据流中添加Expression转换，用JSON_OBJECT函数将关系型字段（Customer_id、created_dt、modified_dt）与原payload字段合并为一个新的JSON对象，示例表达式如下：

   JSON_OBJECT(
     "Customer_id" := Customer_id,
     "created_dt" := created_dt,
     "modified_dt" := modified_dt,
     "payload" := payload
   ) AS combined_json
   

   此操作会生成包含所有需要字段的单个JSON字段combined_json，作为后续Hierarchy Parser的输入。

2. 配置Hierarchy Parser转换解析JSON

   • 选择combined_json作为Hierarchy Parser的输入字段
   • 在解析规则配置中，同时提取顶层的Customer_id、created_dt、modified_dt字段，以及展开payload内部的所有JSON属性（若payload为嵌套结构，可通过配置路径逐层展开）
   • 确保解析输出包含所有需要的关系型字段和JSON展开后的字段

3. 映射字段并加载至目标文件
   将Hierarchy Parser输出的所有字段映射到目标文件的对应列，根据需求配置文件格式（如CSV、JSON等），完成数据加载。

注意事项 #

• 验证Expression转换的JSON语法正确性，避免因格式错误导致解析失败
• 若payload存在复杂嵌套结构，可在Hierarchy Parser中通过添加多级解析规则来完整展开所有属性

内容的提问来源于stack exchange，提问作者nithin