GCP Cloud Fusion从SAP拉取数据遇JsonReader.setLenient配置问题

问题分析 #

报错Invalid schema: Use JsonReader.setLenient(true) to accept malformed JSON at line 1 column 2 path $说明SAP返回的JSON数据存在格式不规范问题（比如多余逗号、未转义特殊字符、未闭合引号等），而Cloud Fusion默认使用严格模式解析JSON，因此触发报错。以下是两端的处理方案：

Cloud Fusion（CDAP）端配置方法 #

方法1：通过连接器高级属性开启 lenient 模式

1. 打开Cloud Fusion管道编辑器，选中SAP表连接器节点
2. 切换到高级属性或自定义配置标签页（不同版本的连接器标签名称可能略有差异）
3. 添加以下键值对：
   • 键：format.json.lenient（部分连接器可能使用cdap.plugin.sap.table.json.lenient，若此键无效可尝试前者）
   • 值：true
4. 保存配置后重新运行管道

方法2：用Wrangler节点自定义解析逻辑

如果连接器本身不支持直接配置lenient模式，可在数据流转路径中添加Wrangler节点，通过自定义代码处理：

import com.google.gson.GsonBuilder

// 定义 lenient 解析函数
def parseLenientJson(jsonStr) {
    def gson = new GsonBuilder().setLenient().create()
    return gson.fromJson(jsonStr, Map)
}

// 应用到目标字段（假设SAP返回的JSON字段名为`sap_response`）
map(parseLenientJson, sap_response) as parsed_sap_data

将上述代码添加到Wrangler的脚本编辑器中，替换字段名后运行。

SAP端排查与修复方向 #

1. 核对近期SAP端的变更：比如接口输出逻辑调整、新增字段包含特殊字符（换行、未转义引号、制表符等）
2. 校验原始返回数据：获取SAP接口返回的原始JSON内容，用本地JSON校验工具检查格式问题
3. 修复数据格式：如果是SAP端输出的JSON不规范，优先调整SAP接口的JSON生成逻辑，确保输出符合标准JSON格式——这比开启lenient模式更稳妥，能避免潜在的数据解析异常

内容的提问来源于stack exchange，提问作者Matteo Fiorillo