通过ADF触发Databricks作业时因Spark内存不足中止的解决方案咨询

针对你遇到的ADF调用Databricks作业报SparkOutOfMemoryError，但直接运行Notebook正常的问题，可从以下几个方向排查解决：

1. 对齐ADF与Notebook的集群配置 #

• 确认ADF作业使用的集群规格（节点类型、数量）是否和手动运行Notebook的集群一致。如果ADF用的是更小的集群，升级节点规格（例如从Standard_DS3_v2切换到Standard_DS4_v2）或增加节点数量，提升整体内存资源。
• 检查Spark内存相关配置参数，ADF作业若使用作业集群（Job Cluster），需手动配置以下参数（可在作业的Spark配置中添加）：
  • spark.driver.memory 16g：调高大内存分配给Driver
  • spark.executor.memory 16g：提升每个Executor的内存
  • spark.memory.fraction 0.7：调整内存分配比例，给Spark执行内存更多空间（默认0.6，注意不要超过0.8，避免OOM）

2. 优化作业的内存消耗逻辑 #

• 调整Shuffle分区数：报错源于排序阶段内存不足，修改spark.sql.shuffle.partitions参数，根据数据量调整分区数——数据量小则调小（如50），数据量大则调大（如1000），降低单个分区的数据量，减轻内存压力。
• 优化缓存策略：检查作业中是否有不必要的cache()/persist()操作，移除无用缓存；若必须缓存，改用persist(StorageLevel.DISK_ONLY)将数据存储到磁盘，释放内存。
• 缩减处理数据量：在数据读取阶段过滤无关列和行，使用Parquet/ORC等列式存储格式减少内存占用。

3. 调整ADF作业的运行策略 #

• 使用专属作业集群：避免共享集群的资源竞争，配置ADF作业使用一次性作业集群（Job Cluster），每次运行都启动全新集群，避免其他作业残留的内存占用。
• 排查参数差异：确认ADF传递给Databricks的参数（如日期范围、过滤条件）是否导致某次作业处理的数据量远超平时，若有则调整参数或分批次处理数据。

4. 排查集群资源残留问题 #

• 若使用共享集群，检查集群是否有内存泄漏或进程残留。可在ADF作业配置中设置“作业结束后终止集群”，确保每次运行的集群环境干净。
• 查看集群的YARN日志或Databricks集群监控，确认是否有其他进程异常占用内存资源。

内容的提问来源于stack exchange，提问作者Ananthu Sreedhar