Azure Synapse中Delta表小文件压缩优化：AutoOptimize未生效

• 调整参数设置时机与方式
  你在追加记录前用spark.sql("SET ...")设置参数的方式不可靠，这类会话级配置需要在所有Delta操作执行前就生效。推荐两种更稳妥的配置方式：

  • 在Notebook最开头用spark.conf.set配置（比SQL SET命令更稳定）：

    spark.conf.set("spark.databricks.delta.autoOptimize.optimizeWrite", "true")
    # 建议同时开启自动合并，优化后续产生的小文件
    spark.conf.set("spark.databricks.delta.autoOptimize.autoCompact", "true")
    

  • 或者在Synapse Spark池全局配置里预设：进入Spark池的「配置」页面，将spark.databricks.delta.autoOptimize.optimizeWrite true添加到Spark配置列表，保存后重启池，这样所有会话都会自动继承该配置。

• 确认Delta表的创建规范
  必须确保表是Delta格式，创建时要显式声明USING DELTA：

  CREATE TABLE IF NOT EXISTS your_table
  (id STRING, content STRING, update_time TIMESTAMP)
  USING DELTA
  LOCATION '/synapse/workspace/path/your_table'
  

  如果用DataFrame写入，也要指定Delta格式：

  df.write.format("delta").mode("append").saveAsTable("your_table")
  

• 检查触发条件
  AutoOptimize的optimizeWrite仅在**批量写入（append/overwrite）**时触发小文件合并，且单次写入的数据量需要达到默认阈值（128MB），极小批量的写入可能不会触发合并逻辑。如果你的更新以MERGE操作为主，需要依赖autoCompact参数在后台自动合并小文件。

• 验证配置是否生效
  设置完成后，执行以下命令确认参数状态：

  SHOW CONFIG LIKE 'spark.databricks.delta.autoOptimize.%'
  

  如果返回结果中optimizeWrite的值为true，说明配置已正确加载。

内容的提问来源于stack exchange，提问作者Rajesh Rajamani