如何在Azure Data Factory链接服务中配置Spark executor内存参数

• 进入对应Databricks链接服务的编辑界面，找到「额外集群设置」配置栏
• 在配置输入框中填入JSON格式的Spark配置，如需将executor内存调整为8g，配置内容如下：

{
  "spark_conf": {
    "spark.executor.memory": "8g"
  }
}

• 你也可以根据需求同时添加其他Spark配置项，例如调整executor核心数、driver内存等：

{
  "spark_conf": {
    "spark.executor.memory": "8g",
    "spark.executor.cores": "4",
    "spark.driver.memory": "4g"
  }
}

• 保存链接服务修改并发布ADF流水线，后续通过该链接服务提交的作业会自动应用上述配置，直接覆盖集群默认的Spark参数，无需修改Databricks侧的集群固定配置。

注意事项 #

• 该配置仅对通过当前链接服务提交的Databricks作业生效，不会影响集群上运行的其他作业
• 不管你使用的是现有交互式集群还是ADF自动创建的按需作业集群，该配置规则均适用

内容的提问来源于stack exchange，提问作者SanjanaSanju