为何Spark集群写入Delta表需Jupyter Notebook具备数据访问权限？

核心疑问 #

为什么我的Spark集群只有在Jupyter Notebook拥有数据存储位置访问权限时，才能成功写入Delta表？我原本认为Spark应独立于Jupyter的权限完成写入操作。

环境与复现细节 #

• 部署架构：通过Docker Compose搭建Spark集群（含1个master、2个worker）+ 连接集群的PySpark Jupyter Notebook，预期由Spark实例执行Delta表写入操作。
• 问题现象：移除Jupyter对/data目录的挂载权限后，写入Delta表触发错误；赋予权限则写入成功。
• 关键执行代码：

# 写入Delta表的核心代码
owner_df.write.format("delta").mode("overwrite").save(delta_output_path)

• 错误日志：

Py4JJavaError: An error occurred while calling o56.save.
: org.apache.spark.sql.delta.DeltaIOException: [DELTA_CANNOT_CREATE_LOG_PATH] Cannot create file:/data/delta_table_of_dog_owners/_delta_log
    at org.apache.spark.sql.delta.DeltaErrorsBase.cannotCreateLogPathException(DeltaErrors.scala:1534)
    at org.apache.spark.sql.delta.DeltaErrorsBase.cannotCreateLogPathException$(DeltaErrors.scala:1533)
    at org.apache.spark.sql.delta.DeltaErrors$.cannotCreateLogPathException(DeltaErrors.scala:3203)
    at org.apache.spark.sql.delta.DeltaLog.createDirIfNotExists$1(DeltaLog.scala:443)

原因分析 #

这一现象的核心在于本地文件路径的使用与Spark Driver的运行位置：

1. 本地文件系统的容器隔离：Docker中每个服务是独立容器，若/data是本地挂载目录，Jupyter与Spark容器的/data属于各自独立的文件系统（未配置共享卷时）。指定file:/data路径时，Spark会尝试在Driver所在容器的文件系统创建目录。
2. Driver运行在Jupyter容器内：PySpark会话默认在Jupyter容器中启动Driver进程，写入Delta表时，Driver会负责初始化_delta_log事务日志目录，这一步操作依赖Jupyter容器的目录权限。
3. Delta Lake的初始化逻辑：Delta Lake的事务日志目录由Driver创建，而非Worker进程，因此Driver所在容器的权限直接决定了初始化能否成功。

解决建议 #

1. 切换到分布式存储：用HDFS、S3等分布式存储替代本地文件路径，让Spark集群所有节点通过统一协议访问存储，权限由分布式存储的身份认证体系管理，不再依赖单个容器权限。
2. 调整Driver运行位置：设置spark.submit.deployMode=cluster，让Driver运行在Spark集群节点（master/worker）上，此时权限继承Spark节点的配置，与Jupyter无关。
3. 配置共享卷与权限：若必须用本地文件系统，在Docker Compose中把/data配置为所有Spark节点和Jupyter的共享卷，同时确保卷的权限允许所有容器运行用户写入（测试环境可临时设为777，生产环境需严格控制用户组权限）。
4. 验证Driver运行位置：在Jupyter中执行print(sc.master)和print(sc.uiWebUrl)，确认Driver是否运行在Spark集群节点而非Jupyter容器内。

内容的提问来源于stack exchange，提问作者Callum Dempsey Leach