如何阻止Azure Synapse每次PR时Notebook的spark.autotune.trackingId变更

一、spark.autotune.trackingId的作用 #

• 这是Azure Synapse Spark自动调优功能的跟踪标识，用于关联Notebook运行时的资源调优数据。
• 自动调优模块通过该ID记录Notebook的执行历史、资源使用情况，以此优化后续运行时的资源分配（比如executor数量、内存配置等）。
• 每次打开或运行Notebook时，系统可能生成新的trackingId，用于隔离不同会话的调优数据。

二、阻止该配置自动变更的方案 #

1. 手动锁定配置项 #

在Notebook的Spark配置单元格中，显式设置固定的spark.autotune.trackingId值，系统会优先使用该固定值，不再自动生成新ID：

%%configure -f
{
    "conf": {
        "spark.autotune.trackingId": "fixed-tuning-id-for-this-notebook"
    }
}

2. 禁用Spark自动调优功能 #

如果业务不需要自动资源优化，可以直接关闭该功能，从根源上避免trackingId的自动变更：

%%configure -f
{
    "conf": {
        "spark.autotune.enabled": "false"
    }
}

注意：禁用后会失去自动资源优化能力，需根据业务需求评估是否适用。

3. Git层面的规避处理 #

若上述方法无法生效，可通过Git规则忽略trackingId的变更：

• 若Notebook为JSON格式，可借助gitattributes配置自定义过滤器，在提交时自动移除或固定trackingId字段，避免其出现在PR的变更记录中。

内容的提问来源于stack exchange，提问作者Liam Ferris