ADF读取合法JSON文件误报malformed records问题咨询

该问题属于ADF数据流JSON解析场景的高频已知问题，大量开发者都遇到过相同情况，并非ADF无法正常读取合法JSON文件，核心原因是ADF内置JSON解析器的校验规则比通用在线JSON校验工具更严格，部分分布式读取逻辑也会触发误报，可按以下优先级逐一排查解决：

• 优先排查文件编码问题：绝大多数同类报错都是编码不兼容导致。在线JSON校验工具可自动兼容带BOM的UTF-8、UTF-16、GBK等各类编码，但ADF数据流JSON源原生仅支持无BOM的UTF-8编码。Schema导入阶段会自动跳过文件头的特殊标识字节，因此可以正常加载结构、通过配置校验，但实际读取数据时BOM头或非UTF-8编码字节会被直接识别为非法字符触发报错。将源文件转存为无BOM的UTF-8编码后重新测试即可。
• 排查大文件分片读取bug：如果单个JSON文件大小超过128MB，ADF默认会对文件做自动分片切割，一旦切割点落在JSON嵌套对象、长文本字段值的中间，分片后的内容片段就会被判定为格式错误。可在源配置的「优化」选项卡中，将分区类型从默认的动态分区改为单个分区，关闭自动分片后再测试数据预览。
• 排查不可见控制字符问题：部分业务系统导出的JSON会携带ASCII 0-31区间的不可见控制字符（比如空字符\0、退格符等），普通在线校验工具会自动过滤这类字符因此判定文件合法，但ADF解析器不会自动忽略这类字符。可先临时开启源配置中的「跳过错误行」选项确认是否能正常加载数据，确认后在数据流最前端添加派生列步骤，用regexReplace()函数统一清除所有不可见控制字符再做后续处理。
• 排查换行符不兼容问题：如果JSON文件是在旧版MacOS系统生成、或经过第三方压缩/编辑工具保存，可能使用\r（CR）格式的换行符，而非ADF兼容的\n（LF）或\r\n（CRLF）格式，Schema导入阶段不会逐行校验换行符因此无报错，逐行解析时会判定记录截断。这类情况可以绕过内置JSON解析逻辑：将源数据集格式改为带分隔符的文本，设置整行读取单列内容，再在数据流中通过json()内置函数将文本内容转为JSON结构做后续处理即可。

注意：你之前测试的三种JSON解析模式、架构漂移/架构校验开关都不影响上述几个触发场景，所以调整这些配置无法解决问题。

内容的提问来源于stack exchange，提问作者TimC