NiFi MergeRecord与MergeContent无法合并Schema不同的Avro流字段，丢失Orders数组

Hey，我来帮你搞定这个MergeRecord（还有MergeContent）丢失Orders数组的问题。结合你的流程和输入JSON来看，问题主要出在Schema自动推断或者FlattenJson的配置上，下面一步步拆解原因并给出解决方案：

问题根源分析 #

你的输入JSON里，第一条用户记录（Fred）没有Orders字段，第二条（Larry）才有。在你的流程里：

• SplitJson把原始数组拆成了两个独立的FlowFile；
• 如果InferAvroSchema的采样策略没配置好（比如只采样了第一条没有Orders的记录），就会生成不包含Orders字段的Schema；
• 后面的MergeRecord是基于这个不完整的Schema来合并记录的，自然就会丢失Orders数组。
  另外，也得检查下FlattenJson有没有误处理Orders数组，别把它给“扁平化没了”。

具体解决方案 #

1. 调整InferAvroSchema的采样配置（快速修复） #

默认情况下，InferAvroSchema可能只采样少量FlowFile，容易漏掉部分字段。你可以改这两个参数：

• Number of Samples：设置为大于等于Split后的FlowFile数量（比如你的场景设为2），确保所有记录都被采样到；
• Schema Inference Strategy：选择Union of All Fields，这样会把所有FlowFile里出现过的字段都纳入Schema，哪怕有些记录没有这个字段，也会把它定义为可选（nullable）类型。

2. 检查FlattenJson的配置 #

确保FlattenJson没有破坏Orders数组的结构：

• 确认Flatten Arrays是false（默认值），要是开成true，会把Orders数组拆成多条独立记录，后续合并时就丢了关联；
• 在Flatten Nested Fields里，只指定需要扁平化的嵌套对象（比如ShippingAddress），别包含Orders，让数组保留原来的结构。

3. 手动指定Avro Schema（最稳妥的方案） #

如果自动推断Schema还是不稳定，建议直接手动写Avro Schema，彻底避免采样问题。针对你的输入，Schema可以这么写：

{
  "type": "record",
  "name": "UserRecord",
  "fields": [
    {"name": "Id", "type": "int"},
    {"name": "Username", "type": "string"},
    {"name": "Name", "type": "string"},
    {
      "name": "ShippingAddress",
      "type": {
        "type": "record",
        "name": "ShippingAddress",
        "fields": [
          {"name": "Address1", "type": "string"},
          {"name": "Address2", "type": "string"},
          {"name": "City", "type": "string"},
          {"name": "State", "type": "string"},
          {"name": "PostalCode", "type": ["null", "int"], "default": null}
        ]
      }
    },
    {
      "name": "Orders",
      "type": ["null", {
        "type": "array",
        "items": {
          "type": "record",
          "name": "Order",
          "fields": [
            {"name": "ItemId", "type": "int"},
            {"name": "OrderDate", "type": "string"}
          ]
        }
      }],
      "default": null
    }
  ]
}

然后在ConvertRecord处理器里，把Schema Write Strategy设为Use Specified Schema，再把Specified Schema换成上面的内容，这样就能保证Orders数组始终出现在最终的Schema里。

验证步骤 #

改完配置后，你可以这么验证：

• 在InferAvroSchema后面加个LogAttribute处理器，输出推断的Schema内容，确认包含Orders字段；
• 检查ConvertRecord之后的FlowFile内容，确保Orders数组被正确保留；
• 最后看PutParquet生成的文件，验证Schema完整性。

内容的提问来源于stack exchange，提问作者Amit Kadam