如何为Azure Data Factory/Synapse映射数据流托管集群/IR设置Spark配置？

上述两项Spark参数调整完全可以实现，不需要手动操作托管运行时集群，按以下步骤配置即可：

• 打开你使用该数据流的管道活动，切换到「设置」选项卡，找到「Spark配置」区域，点击「新建」添加自定义参数：
  1. 解决Vacuum设置为0的报错，添加如下配置：
     键：spark.databricks.delta.retentionDurationCheck.enabled
     值：false
  2. 调整Parquet压缩算法，添加如下配置：
     键：spark.sql.parquet.compression.codec
     值：按需求填写对应压缩算法，例如snappy、gzip、zstd等

注意：如果你需要在数据流调试阶段让配置生效，需要在数据流编辑页的「调试配置」面板中，同样添加上述Spark参数，否则调试用临时集群不会加载管道活动中的配置。

内容的提问来源于stack exchange，提问作者siva suryateja