如何通过NiFi将Dynamics CRM的JSON数据转换为CSV？

1. 先验证HttpInvoke的输出数据 #

• 确保HttpInvoke的Return Content参数设为true，且Dynamics CRM返回的响应头Content-Type为application/json。很多时候Dynamics会返回带OData包装的JSON结构（外层是value数组），比如：

  {"value": [{"accountid": "123", "name": "Test Corp", "telephone1": "555-1234"}, ...]}

• 插入LogAttribute处理器到HttpInvoke之后，打印完整的内容和属性，确认拿到的JSON结构符合预期，没有乱码或截断。

2. 修正ConvertRecord的核心配置 #

ConvertRecord是转换失败的重灾区，重点检查以下几点：

• 选择正确的Record Reader/Writer：
  • Record Reader用JsonTreeReader（而非普通JsonReader），它能处理Dynamics返回的嵌套/数组结构；
  • Record Writer用CSVRecordSetWriter，确保已启用对应的Controller Service。
• 定位数据集路径：
  在JsonTreeReader的配置中，设置Json Path Expression为$.value，直接定位到需要转换的数组数据集，避免外层包装干扰。
• 编写匹配的Schema：
  在CSVRecordSetWriter的Schema Access Strategy中选择Use Schema Text，手动编写与Dynamics字段匹配的Schema示例：

  {
    "type": "record",
    "name": "CRMAccount",
    "fields": [
      {"name": "accountid", "type": "string"},
      {"name": "name", "type": "string"},
      {"name": "telephone1", "type": ["string", "null"]},
      {"name": "createdon", "type": {"logicalType": "timestamp-millis"}}
    ]
  }
  

  注意：字段要对应Dynamics返回的键名，可空字段要声明["类型", "null"]，日期字段用timestamp-millis这类逻辑类型适配。
• CSV Writer附加配置：
  勾选Write Header Line自动生成表头，根据需求调整Field Delimiter（默认逗号）等参数。

3. 调整UpdateAttribute的使用时机 #

UpdateAttribute应该放在ConvertRecord之后，用于修改输出文件属性（比如重命名），示例配置：

• 添加属性filename，值设为${filename:replace('.json', '.csv')}，将输出文件后缀改为csv。
  不要用UpdateAttribute修改Record内容，这类操作交给ConvertRecord处理。

4. 排查故障的实用步骤 #

• 在每个处理器前后插入LogAttribute，对比数据流转过程中的内容变化，定位是哪个环节丢失或损坏了数据；
• 检查NiFi UI中Controller Service的状态，确认JsonTreeReader和CSVRecordSetWriter没有报错（比如Schema格式错误会导致服务无法启用）；
• 查看NiFi的日志文件（默认在logs/nifi-app.log），搜索ConvertRecord相关的报错信息，比如字段类型不匹配、路径找不到等。

内容的提问来源于stack exchange，提问作者tlili ahlem