如何配置Databricks自动缩放避免Spark缓存数据丢失

核心原因 #

启用自动缩放时，Databricks会销毁空闲executor以节省资源，但df.cache()默认将数据存储在executor的内存或本地磁盘中，executor被销毁后这部分缓存数据会直接丢失，后续任务只能重新计算数据。固定实例数时无executor销毁，因此缓存功能正常。

可行解决方案 #

• 改用分布式存储持久化数据
  放弃依赖executor本地存储的cache()，将DataFrame持久化到DBFS（Databricks分布式文件系统），数据存储在共享存储层，不受executor生命周期影响。示例代码：

  # 持久化到DBFS
  df.write.mode("overwrite").parquet("/dbfs/your/cache/path")
  # 读取缓存数据
  cached_df = spark.read.parquet("/dbfs/your/cache/path")
  

  该方案读写速度略慢于内存缓存，但数据稳定性拉满，适合对可靠性要求高的场景。

• 配置缓存专属的executor超时参数
  Databricks提供了针对缓存executor的超时配置，让集群优先保留存储缓存数据的executor，避免被缩容销毁：

  1. 在集群Spark配置中添加：

     spark.databricks.dynamicAllocation.cachedExecutorIdleTimeout 1800s
     

     此参数设置有缓存数据的executor的空闲超时时间（示例为30分钟），比普通executor超时时间更长，确保缓存数据不会被轻易销毁。
  2. 同时可调整普通executor的空闲超时，减少不必要的缩容：

     spark.databricks.dynamicAllocation.executorIdleTimeout 300s
     

  该方案保留了内存缓存的性能优势，适合对速度有要求的场景。

• 基于数据规模设置合理的最小实例数
  计算缓存目标DataFrame所需的最小executor数量，将集群最小实例数设为该值。这样即使自动缩容，集群也只会缩至这个最小数量，不会销毁存储缓存数据的核心executor。比如缓存数据需要3个executor，就将最小实例设为3、最大设为8，兼顾弹性和缓存稳定性。

• 利用Delta Lake的缓存优化（若使用Delta表）
  若DataFrame来自Delta表，Delta Lake自带的缓存机制会自动管理数据缓存，executor缩容后，存活的executor可从Delta底层存储快速重新加载缓存，无需全量重新计算。确保开启spark.databricks.delta.cache.enabled=true（默认已开启），同时可通过OPTIMIZE和ZORDER BY命令优化表结构，提升缓存效率。

内容的提问来源于stack exchange，提问作者gaurav narang