如何在Databricks中用open读取Azure Data Lake敏感存储文件？

可行，但因为敏感存储的权限控制与挂载特性，无法直接套用普通存储的/dbfs/路径+open方法读取，需要使用适配敏感存储的访问方式，以下是几种实用方案：

方案一：使用Databricks dbutils.fs API（推荐） #

dbutils可直接访问Databricks有权限的所有存储（包括敏感存储），读取二进制内容后可包装成类文件对象，和open的使用逻辑一致：

path_sensitive_storage = 'mypath_sensitive'
# 读取敏感存储中的文件二进制内容，第二个参数为最大读取字节数，按需调整
file_content = dbutils.fs.head(path_sensitive_storage, 100000000)

# 包装成类文件对象，支持read()等标准文件操作
from io import BytesIO
file_obj = BytesIO(file_content)
content = file_obj.read()

方案二：使用云存储官方SDK #

如果敏感存储是AWS S3、Azure ADLS这类云对象存储，可直接用对应厂商的SDK读取，前提是集群或运行环境已配置好合法访问权限（如IAM角色、服务主体）：

AWS S3示例 #

import boto3
s3_client = boto3.client('s3')

bucket = 'your-sensitive-bucket'
file_key = 'path/to/file.mp3'
response = s3_client.get_object(Bucket=bucket, Key=file_key)
file_content = response['Body'].read()

Azure ADLS Gen2示例 #

from azure.storage.filedatalake import DataLakeServiceClient

service_client = DataLakeServiceClient(account_url="https://<account-name>.dfs.core.windows.net", credential="<credential>")
file_system_client = service_client.get_file_system_client(file_system="<file-system-name>")
file_client = file_system_client.get_file_client("path/to/file.mp3")

file_content = file_client.download_file().readall()

方案三：复制到/dbfs临时目录后用open读取（不推荐，需注意合规） #

如果一定要用open方法，可先将敏感存储的文件复制到/dbfs临时目录，读取完成后删除临时文件，但这种方式可能存在敏感数据泄露风险，需符合合规要求：

path_sensitive_storage = 'mypath_sensitive'
temp_local_path = '/dbfs/temp/sensitive_temp_file.mp3'
temp_dbfs_path = temp_local_path.replace('/dbfs/', 'dbfs/')

# 复制敏感文件到临时路径
dbutils.fs.cp(path_sensitive_storage, temp_dbfs_path)

# 用open读取
with open(temp_local_path, 'rb') as f:
    file_content = f.read()

# 读取完成后删除临时文件
dbutils.fs.rm(temp_dbfs_path)

注意事项 #

• 确保Databricks集群或运行环境已获取敏感存储的访问权限，否则所有方法都会失败。
• 优先选择dbutils或云SDK方案，避免复制敏感数据到普通存储，降低合规风险。

内容的提问来源于stack exchange，提问作者Enrique Benito Casado