本地Docker容器中Delta Lake遇SparkFileNotFoundException：找不到_delta_logs

核心问题分析 #

从报错信息和你的Docker配置来看，存在两个关键问题：

1. 路径不匹配：报错中查找的路径是/opt/ufo-lakehouse/lakehouse/...，但你的Docker卷映射是将本地./lakehouse挂载到容器内的/opt/bitnami/spark/lakehouse，两者路径完全不一致，导致容器内找不到对应文件。
2. 集群模式本地文件访问一致性：Spark Standalone集群模式下，若使用file://协议访问数据，要求所有worker节点的本地文件系统必须有完全相同路径下的相同数据——你通过卷映射满足了这个前提，但代码中使用的路径必须和容器内的挂载路径统一。

具体解决步骤 #

1. 修正代码中的Delta Lake路径 #

确保Spark代码里使用的路径是容器内的挂载路径：

// 错误示例（对应报错路径）
val deltaPath = "file:/opt/ufo-lakehouse/lakehouse/ufo/bronze"
// 正确示例（匹配卷映射路径）
val deltaPath = "file:/opt/bitnami/spark/lakehouse/ufo/bronze"

也可以使用相对路径（基于Spark容器的工作目录）：

val deltaPath = "./lakehouse/ufo/bronze"

2. 验证所有节点的文件一致性 #

检查任意spark-worker容器内是否存在目标文件：

# 进入worker容器
docker exec -it spark-worker-1 bash
# 查看日志文件是否存在
ls /opt/bitnami/spark/lakehouse/ufo/bronze/_delta_log/00000000000000000000.json

如果文件不存在，确认本地./lakehouse目录下是否有该文件，同时检查卷映射是否应用到了所有Spark服务（master、worker、driver）。

3. 权限检查（补充） #

虽然你已经设置了spark.hadoop.fs.permissions.umask-mode=000，仍需确认容器内挂载目录的权限：

# 在容器内查看目录权限
ls -ld /opt/bitnami/spark/lakehouse

如果权限不足，手动调整：

chmod -R 755 /opt/bitnami/spark/lakehouse

4. 长期优化：改用分布式存储（可选） #

本地文件系统在集群扩展时会出现同步问题，建议用分布式存储（如MinIO、HDFS）存储Delta Lake数据。例如配置MinIO后，在spark-defaults.conf中添加：

spark.hadoop.fs.s3a.endpoint http://minio:9000
spark.hadoop.fs.s3a.access-key YOUR_ACCESS_KEY
spark.hadoop.fs.s3a.secret-key YOUR_SECRET_KEY
spark.hadoop.fs.s3a.path.style.access true
spark.hadoop.fs.s3a.impl org.apache.hadoop.fs.s3a.S3AFileSystem

代码中使用s3a://bucket-name/lakehouse/ufo/bronze作为Delta路径即可。

验证方法 #

修改路径后重新提交任务：

spark-submit \
  --master spark://spark-master:7077 \
  --class com.your.package.YourClass \
  --deploy-mode client \
  your-application.jar

若任务能正常读取_delta_log文件，说明问题已解决。

内容的提问来源于stack exchange，提问作者prime90