ADF复制活动写入Parquet失败:InvalidSchemaException问题求助
问题原因分析
- REST源未正确定位数据节点:API返回的是包含
Regions数组的嵌套JSON,但复制活动未指定要提取的数组节点,导致ADF识别的顶层结构为空组,无法生成有效的Parquet Schema。WEB活动仅获取响应无需解析写入,因此不受影响。 - Schema自动推断失效:若未手动指定Schema,ADF自动推断时可能未识别到
Regions数组内的字段,生成的Parquet Schema为空,而Parquet要求必须有非空字段结构才能写入。 - 复制活动源配置错误:未在REST源的JSON设置中开启
Array of objects模式,或未设置根路径为$['Regions'],导致ADF将外层JSON对象视为顶层结构,而非直接处理数组内的对象数据。
解决建议
- 配置REST源根路径:在复制活动的REST源设置中,进入JSON设置,将根路径设为
$['Regions'],让ADF直接读取数组内的对象。 - 手动定义Schema:在复制活动的源或接收器中手动指定包含
RCode、Name、DbCode、DisplayOrder、HasAccess的Schema,确保Parquet有明确的字段结构。 - 验证API响应一致性:确认调试时API返回的响应与示例结构完全一致,避免出现空数组或字段缺失,这也会导致Schema推断为空。
内容的提问来源于stack exchange,提问作者practicalGuy
相关产品推荐
相关产品推荐

