Synapse管道运行出现Strange Internal server error错误问题咨询

报错详情（已翻译） #

错误码：145
错误类型：SystemError
目标组件：DF_Load_CustomsShipment
错误描述：Synapse批处理操作触发内部服务器错误，Livy作业运行时状态变为dead，对应Livy ID为4

排查&解决步骤 #

• 先查看Livy作业完整日志：进入Synapse工作区→监控板块→Apache Spark应用程序，找到Livy ID为4的历史作业，下载驱动日志和执行器日志，重点搜索OutOfMemoryError、JSON parse error、StackOverflowError三类关键字，先定位直接报错原因。
• 验证JSON文件合法性：7-8个90MB的JSON如果存在单行大对象、转义字符异常、嵌套层级过深的问题，就算集群规格足够也会直接触发解析崩溃，可先单独取1个测试文件在Spark本地环境跑解析验证，确认文件格式无异常。
• 调整Spark作业配置参数：内存优化集群默认参数不一定适配JSON解析场景，在对应数据流/Spark活动的配置中新增以下参数：
  • spark.driver.memory：设置为16g（若集群规格允许可适当上调）
  • spark.executor.memory：设置为12g
  • spark.sql.jsonParser.maxNestingDepth：设置为1000，解决JSON嵌套过深导致的解析失败
  • spark.dynamicAllocation.enabled：设置为true，确保作业可按需申请足够计算资源
• 优化数据流配置：如果是用映射数据流处理JSON，关闭源配置里的「自动推断架构」选项，手动指定JSON Schema，避免全量扫描文件推断架构占用过多内存；同时将数据流运行时的分区策略改为「源分区」，避免单节点负载过高。
• 验证集成运行时配置：如果使用的是自托管IR，可切换为工作区默认托管IR跑测试，排除自定义IR的网络、权限配置错误问题。

内容的提问来源于stack exchange，提问作者Shailendra Kad