如何排查手动运行正常但在Synapse管道中超时的Spark Notebook

排查方向建议 #

1. 对比手动与管道运行的环境配置差异

• 核对Spark核心配置：检查管道执行时的spark.sql.shuffle.partitions、spark.delta.optimizeWrite.enabled、spark.executor.memory等关键参数，确认是否与手动运行时一致。管道可能继承了默认配置或管道级别的全局配置，导致INSERT阶段的 shuffle、写入效率下降。
• 验证身份权限的细节：虽然都使用托管标识，但管道运行时的标识可能面临不同的资源限制，比如目标Delta表的写入权限是否变更、存储账户的IOPS/吞吐量是否触发限流（批量写入时更容易触发存储配额限制）。

2. 检查目标Delta表的状态变化

• 分析表的元数据与操作历史：执行DESCRIBE HISTORY <your_table>查看周二前后的表操作记录，确认是否出现大量小文件写入、未优化的批量操作，导致INSERT阶段合并文件的开销剧增。
• 验证表的优化状态：确认是否开启autoOptimize，或最近是否执行过OPTIMIZE/VACUUM操作。如果表的小文件数量暴增，手动运行时可能因资源充足快速处理，但管道环境下可能因配置不足超时。

3. 排查底层资源与依赖的突发变更

• 检查Spark Pool的运行状态：查看周二前后Spark Pool的节点健康状况、资源占用率，确认是否存在节点故障、其他任务抢占资源的情况，或Pool的配置（节点数、资源配额）被修改。
• 核对数据源的变化：确认INSERT的源数据是否在周二后出现数据量突增、数据结构变更（如新增字段、类型变化），或源存储账户出现访问延迟。

4. 深入分析Job执行日志

• 查看Spark Job的详细Stage日志：错误信息仅显示Job aborted，需定位具体失败的Stage和Task。通过Spark UI对比手动与管道运行的Stage耗时、Task失败原因（如OOM、网络超时、存储写入错误）。
• 检查Livy会话配置：管道中Livy会话的超时设置（如livy.session.timeout）、资源分配是否与手动运行一致，是否因会话资源不足或超时导致任务中断。

5. 验证管道执行的上下文差异

• 核对管道参数传递：如果Notebook依赖管道参数，确认周二后参数值是否变更，导致处理逻辑或数据量变化。
• 检查执行时间窗口：确认周二后管道的执行时间是否处于业务高峰，导致存储、Spark资源被其他任务抢占，引发资源竞争。

内容的提问来源于stack exchange，提问作者bbb0777