使用Python从Databricks上传文件至ADLS时遇错误求助

以下是针对本地VS运行成功、Databricks执行失败问题的排查和解决步骤：

1. 优先排查路径问题（最常见原因） #

Databricks的文件系统逻辑和本地完全不同，注意两种路径的正确写法：

• DBFS路径：如果文件存储在DBFS中，读取时需要在路径前加/dbfs/前缀，比如你生成的CSV文件路径为dbfs:/temp/output.csv，则读取路径要写/dbfs/temp/output.csv（集群节点已将DBFS挂载到本地/dbfs目录）。
• 集群节点本地路径：如果文件生成在节点本地磁盘，需使用绝对路径（如/tmp/output.csv），但节点本地文件会在集群重启后丢失，建议优先使用DBFS存储。

验证文件是否存在：

# 用dbutils检查DBFS文件
dbutils.fs.ls("/temp/output.csv")

# 用os检查节点本地/DBFS文件（访问DBFS需加/dbfs前缀）
import os
print(os.path.exists("/dbfs/temp/output.csv"))

2. 确认凭据与权限差异 #

本地VS通常使用你个人的Azure凭据（如Azure CLI登录状态），但Databricks集群依赖自身身份（托管标识或服务主体），两者权限范围可能不一致：

• 在Azure门户的目标存储账户IAM设置中，给Databricks集群的托管标识/服务主体添加Storage Blob Data Contributor角色。
• 推荐用默认凭据初始化BlobServiceClient，避免硬编码密钥：

from azure.storage.blob import BlobServiceClient
from azure.identity import DefaultAzureCredential

# 替换为你的存储账户URL
account_url = "https://<your-storage-account>.blob.core.windows.net"
blob_service_client = BlobServiceClient(account_url, credential=DefaultAzureCredential())

# 验证权限：列出容器，能正常返回则权限配置正确
containers = blob_service_client.list_containers()
for container in containers:
    print(container.name)

3. 检查CSV文件生成环节 #

将TXT转CSV时，确保在Databricks中正确写入文件：

• 使用pandas生成CSV时，直接写入DBFS路径：

import pandas as pd

# 读取TXT文件（注意路径写法，根据分隔符调整sep参数）
df = pd.read_csv("/dbfs/temp/input.txt", sep="\t")
# 写入CSV到DBFS，指定UTF-8编码避免乱码
df.to_csv("/dbfs/temp/output.csv", encoding="utf-8", index=False)

• 避免使用相对路径（如./output.csv），Databricks的默认工作目录与本地不同，相对路径可能指向错误位置。

4. 捕获详细错误信息 #

如果以上步骤未解决问题，在上传代码中添加异常捕获，获取具体错误（比截图更易定位问题）：

from azure.storage.blob import BlobServiceClient
from azure.identity import DefaultAzureCredential

account_url = "https://<your-storage-account>.blob.core.windows.net"
container_name = "<your-container-name>"
file_path = "/dbfs/temp/output.csv"

try:
    blob_service_client = BlobServiceClient(account_url, credential=DefaultAzureCredential())
    blob_client = blob_service_client.get_blob_client(container=container_name, blob="output.csv")
    
    with open(file_path, "rb") as data:
        blob_client.upload_blob(data, overwrite=True)
    print("上传成功")
except Exception as e:
    print(f"上传失败，错误详情：{str(e)}")

根据捕获到的错误类型（如FileNotFoundError、PermissionError等），可以精准定位问题根源。

内容的提问来源于stack exchange，提问作者José Gavilán