Databricks dbx作业集群运行spark.sql创建Delta表失败求助

针对你遇到的问题——交互式集群（dbx execute）能正常执行，但作业集群创建Delta表时报Azure Blob路径不存在的404错误，可按以下步骤排查解决：

1. 修正Schema与表的路径冲突 #

你当前给Schema和表指定了同一个LOCATION，这会导致元数据存储冲突，是核心问题之一。Schema的LOCATION用于存储库级元数据，表的LOCATION应指向独立的子路径：

# 创建Schema时指定库元数据路径
self.spark.sql(
f"""
CREATE SCHEMA IF NOT EXISTS solis
LOCATION '{self.metadata_db_path}/schema'
"""
)

# 创建表时指定独立的表数据路径
self.spark.sql(
f"""
CREATE TABLE IF NOT EXISTS solis.metadata (
   imagekey STRING, StdImgDate STRING, StdImgView STRING,
   StdProdID STRING, StdVisit STRING, Study STRING, RowKey STRING, 
   ProcessedTimestamp LONG
) USING DELTA LOCATION '{self.metadata_db_path}/metadata'
PARTITIONED BY (Study)
"""
)

2. 确保目标路径提前存在 #

作业集群默认不会自动创建Blob存储路径，需在创建表前手动生成路径：

# 用dbutils创建路径（作业集群需启用dbutils访问）
dbutils.fs.mkdirs(self.metadata_db_path + "/schema")
dbutils.fs.mkdirs(self.metadata_db_path + "/metadata")

# 或用Spark API创建（兼容所有集群模式）
self.spark._jvm.org.apache.hadoop.fs.Path(self.metadata_db_path + "/schema").getFileSystem(self.spark._jsc.hadoopConfiguration()).mkdirs()
self.spark._jvm.org.apache.hadoop.fs.Path(self.metadata_db_path + "/metadata").getFileSystem(self.spark._jsc.hadoopConfiguration()).mkdirs()

3. 验证作业集群的存储权限与挂载配置 #

• 作业集群使用的**服务主体（Service Principal）**需拥有Azure Blob Storage的Storage Blob Data Contributor权限，而交互式集群可能用的是你的个人用户权限，两者权限范围不同。
• 确保Blob存储挂载点在作业集群中已正确配置：可通过集群初始化脚本自动挂载，或使用Databricks的集群范围挂载功能，避免作业集群遗漏挂载配置。

4. 检查Spark配置的一致性 #

对比交互式集群与作业集群的Spark配置，确保作业集群包含Blob存储的访问配置：

• 若用账号密钥：确认spark.hadoop.fs.azure.account.key.<storage-account-name>.blob.core.windows.net已在作业集群的Spark配置中正确设置。
• 若用SAS令牌：确认spark.hadoop.fs.azure.sas.<container-name>.<storage-account-name>.blob.core.windows.net配置正确。

5. 统一路径配置来源 #

避免硬编码路径，将metadata_db_path放在dbx的部署配置文件（如conf/deployment.yml）中，通过作业参数传递给脚本，确保交互式与作业集群使用完全一致的路径：

# conf/deployment.yml示例
environments:
  default:
    jobs:
      your-job-name:
        spark_python_task:
          parameters: ["--metadata-db-path", "dbfs:/mnt/your-blob-path/solis"]

在脚本中通过argparse读取参数：

import argparse

parser = argparse.ArgumentParser()
parser.add_argument("--metadata-db-path", required=True)
args = parser.parse_args()
self.metadata_db_path = args.metadata_db_path

内容的提问来源于stack exchange，提问作者Yan Chong Tan