Databricks写入ADLS文件成功但容器中无法查看问题求助

1. 核对写入路径准确性 #

• 确认写入代码使用的是ADLS容器的实际路径：要么用abfss://<container>@<storage-account>.dfs.core.windows.net/格式的原生路径，要么对应挂载点的完整路径（比如/mnt/your-mount/path），避免拼写错误（如大小写、多/少斜杠）。
• 执行dbutils.fs.ls("<你的写入路径>")查看Databricks侧的文件列表，和ADLS容器的路径层级逐一比对。

2. 排查写入模式与分区配置 #

• 若写入时用了partitionBy，文件会被拆分到对应分区子目录中，需进入分区目录查看，而非停留在容器根路径。
• 尝试将写入模式切换为overwrite测试，避免append模式下新文件被旧文件覆盖或隐藏。

3. 验证ADLS存储的文件可见性 #

• Azure Portal的容器视图可能存在缓存，改用Azure Storage Explorer连接存储账号查看，或执行Azure CLI命令直接查询：

  az storage blob list --account-name <存储账号名> --container-name <容器名> --output table
  

  确认文件是否真实存在于存储端。

4. 检查Databricks写入配置细节 #

• 确认写入时指定了正确的文件格式（如format("parquet")），部分格式会生成元数据文件（如_SUCCESS、.part-*），这些是正常的写入产物，不要只找自定义命名的文件。
• 若使用saveAsTable，需检查表的存储位置是否指向目标ADLS容器，默认情况下表可能存在Databricks的默认存储中，而非指定路径。需显式添加option("path", "<目标ADLS路径>")。

5. 深度验证权限配置 #

• 确认Service Principal的权限范围：除了容器的Storage Blob Contributor角色，还要检查存储账号的防火墙规则是否允许Databricks集群的IP访问。
• 在Databricks中直接用Service Principal权限测试写入：

  # 配置SP连接
  spark.conf.set("fs.azure.account.auth.type.<存储账号名>.dfs.core.windows.net", "OAuth")
  spark.conf.set("fs.azure.account.oauth.provider.type.<存储账号名>.dfs.core.windows.net", "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider")
  spark.conf.set("fs.azure.account.oauth2.client.id.<存储账号名>.dfs.core.windows.net", dbutils.secrets.get(scope="<密钥范围>", key="<客户端ID>"))
  spark.conf.set("fs.azure.account.oauth2.client.secret.<存储账号名>.dfs.core.windows.net", dbutils.secrets.get(scope="<密钥范围>", key="<客户端密钥>"))
  spark.conf.set("fs.azure.account.oauth2.client.endpoint.<存储账号名>.dfs.core.windows.net", "https://login.microsoftonline.com/<租户ID>/oauth2/token")
  
  # 写入测试文件
  test_df = spark.createDataFrame([(1, "test-data")], ["id", "content"])
  test_df.write.mode("overwrite").parquet("abfss://<容器名>@<存储账号名>.dfs.core.windows.net/test-write-verify")
  

  再用Storage Explorer查看test-write-verify目录下的文件。

6. 检查作业执行上下文 #

• 如果是通过Databricks Jobs执行写入，确认作业集群的配置（挂载点、Secret Scope访问权限）和手动测试的集群一致。
• 查看作业执行日志，搜索write相关条目，确认是否有写入成功的日志，或隐藏的权限/路径错误提示。

内容的提问来源于stack exchange，提问作者Susmitha Kanuri