使用Azure Synapse Analytics时架构推断检测到格式错误求助

这个报错的核心原因是数据流默认使用FAILFAST解析模式做架构推断时，只要扫描到的JSON内容存在格式异常、结构不统一的问题，就会直接中断流程，和你选择的单文档/文档数组/每行一个文档的形式选项没有直接关系，按以下步骤排查处理即可：

• 第一步先临时调整解析容错规则定位问题
  进入数据流源配置的「源选项」面板，找到解析模式配置项，将默认的FAILFAST切换为PERMISSIVE，同时开启坏数据捕获开关，自定义坏数据存储列名（比如_corrupt_record）。
  配置完成后点击数据预览，此时不会直接抛出错误，所有格式不符合规范、和推断架构不匹配的记录，原始内容都会被写入你配置的坏数据列，直接就能定位具体问题：常见异常包括JSON语法错误（尾部多余逗号、单引号替代双引号、文件内容截断）、同名字段在不同JSON文件中类型不一致（比如A文件中user_id是数值类型，B文件中同字段是字符串类型）、路径下混入了非JSON格式的无效文件（比如.DS_Store、上传临时生成的锁文件、0字节空文件）。
• 第二步针对定位到的问题逐一修复
  • 如果是混入无关无效文件：在源配置的文件筛选规则中添加过滤条件，仅匹配后缀为.json的有效文件，排除所有隐藏文件、临时文件、空文件，同时注意不要把ADLS Gen2的软删除回收站目录、文件版本历史目录包含在扫描路径内。
  • 如果是跨文件同名字段类型冲突：要么提前统一所有源JSON文件的字段类型，要么在架构配置中手动给冲突字段设置兼容类型（比如数值/字符串冲突时统一设为字符串类型，后续在数据流转换步骤中再做类型标准化）。
  • 如果是单文件内存在少量无价值的损坏行：确认这些数据不需要保留的话，可以维持PERMISSIVE模式，后续数据流步骤中直接丢弃坏数据列即可，不需要切回FAILFAST模式。
• 第三步重新导入架构
  修复完问题后，根据你的JSON实际格式选对对应的文档形式：完整单JSON对象选Single document、外层包裹数组存储多条记录选Array of documents、JSON Lines格式（每行一个独立JSON对象，无外层数组括号）选Document per line。选完先点数据预览确认记录可以正常读取，再点击导入架构即可。如果路径下JSON文件总量很大，可以临时把架构推断的采样文件数设置为1-2个格式标准的文件，先导入基准架构，后续再根据全量数据调整字段配置，避免采样到异常文件中断流程。

内容的提问来源于stack exchange，提问作者sheetal rathore