Spark Connect连接Databricks集群时设置Checkpoint目录的方法

方法1：通过SparkSession配置全局检查点目录 #

Spark Connect支持直接通过SparkSession的配置参数指定检查点目录，无需依赖SparkContext。可以在初始化Session时配置，也可以运行时动态修改：

初始化Session时配置 #

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .remote("sc://<你的Databricks集群地址>") \
    .config("spark.sql.checkpointLocation", "/FileStore/checkpoint") \
    .getOrCreate()

运行时动态设置 #

若已创建SparkSession，可通过spark.conf.set修改全局配置：

spark.conf.set("spark.sql.checkpointLocation", "/FileStore/checkpoint")

后续所有需要检查点的DataFrame操作（如checkpoint()、流处理的检查点配置）都会自动使用该目录。

方法2：为单个DataFrame指定检查点路径 #

如果无需全局统一配置，可直接在checkpoint()方法中传入具体路径，仅作用于当前DataFrame：

df = df.checkpoint("/FileStore/checkpoint/特定任务路径")

这种方式适合需要为不同任务隔离检查点目录的场景。

方法3：通过Databricks集群全局配置预设 #

如果使用Databricks集群，可直接在集群配置中预设检查点目录，所有通过Spark Connect连接的Session都会自动继承该配置：

1. 进入Databricks控制台的目标集群配置页
2. 在「Spark」选项卡的「Spark config」中添加：

   spark.sql.checkpointLocation /FileStore/checkpoint
   

3. 重启集群后生效

内容的提问来源于stack exchange，提问作者Tarique