Azure Data Factory管道spark.rpc.message.maxSize超限报错求助

报错原因 #

你的ADF管道失败是因为REST API返回的数据量增大，导致Spark序列化后的任务大小（约130MB）超过了spark.rpc.message.maxSize的默认限制（128MB），触发了任务中止。

修复方案 #

方案一：调整spark.rpc.message.maxSize配置 #

根据你使用的计算资源类型，按以下步骤修改：

• 如果是Mapping Data Flow：
  1. 打开出错的Mapping Data Flow。
  2. 点击顶部的Settings（齿轮图标）进入配置页。
  3. 在Spark configuration输入框中，添加配置项：spark.rpc.message.maxSize 150（单位为MB，可根据实际数据量调整为150、200等值）。
• 如果是Azure Databricks活动：
  1. 打开对应的Databricks活动。
  2. 切换到Settings标签页，找到Spark config区域。
  3. 添加配置项：spark.rpc.message.maxSize 150。

方案二：优化数据源输出 #

• 检查REST API近期是否返回了更多数据，比如新增字段、行数暴增。如果API支持分页，添加分页参数减少单次请求的数据量。
• 利用API的过滤条件，只获取业务需要的数据，从源头降低数据体积，避免触发RPC大小限制。

内容的提问来源于stack exchange，提问作者David Kade